AllenAI выпустил две модели MolmoMotion, которые прогнозируют трёхмерные траектории точек на основе коротких историй видео и естественных языковых инструкций. Одна модель использует историю из трёх кадров, другая — из одного кадра, что позволяет прогнозировать будущее движение объектов в трёхмерном пространстве.
media
r/LocalLLaMA
·
49 д назад
·
open_models
AllenAI выпустил модели MolmoMotion для прогнозирования движений в будущем
Переведено с English → Русский
Похожие статьи
arxiv
arXiv cs.AI
·
46 д назад
Gazer: обнаружение ошибок семантики без обучения для автокорректирующих визуальных моделей
Gazer представляет рамку без обучения, которая использует обратную связь крупных моделей языка с несколькими модальностями для исправления ошибок семантики в реальном времени во время генерации автокорректирующими визуальными моделями. Интегрируя этапы отражательной диагностики и исправления семантики, Gazer повышает точность составления и выравнивание семантики между несколькими моделями без дополнительного обучения.
arxiv
arXiv cs.LG
·
46 д назад
·
2 просмотра
Разделение декларативных и процедурных знаний в моделях визуально-языковых-действий
w$^{2}$VLA вводит модульный подход, который разделяет декларативные и процедурные знания в моделях визуально-языковых-действий. Структурирование потока информации позволяет обеспечить надежное копирование поведения и беспрецедентную передачу навыков без обучения на незнакомых и несхожих объектах.
arxiv
arXiv cs.AI
·
47 д назад
·
2 просмотра
ARCO: адаптивный рубрик с когенерацией для агентов на основе многошаговых ЛЛМ
ARCO представляет рамку рубрики, которая позволяет осуществлять присвоение кредитов на уровне шагов для агентов на основе многошаговых ЛЛМ. Он одновременно обновляет общую модель с головками генерации и оценки, позволяя содержанию рубрики и функции оценки когенерироваться через данные на-политики, что улучшает производительность и интерпретируемость на различных тестах.
arxiv
arXiv cs.AI
·
47 д назад
Разделение декларативных и процедурных знаний в моделях визуально-языковых-действий
w$^{2}$VLA вводит модульную модель визуально-языковых-действий, которая разделяет декларативные и процедурные знания. Структурирование потока информации позволяет обеспечить надежное копирование поведения и нулевое переносимость навыков на новые, несхожие объекты.
arxiv
arXiv cs.CL
·
47 д назад
·
1 просмотр
Саморазвитие агентов, использующих инструменты, через обучение предпочтений в точках разрыва
ToolGraph повышает эффективность агентов, использующих инструменты в многоходовых сессиях, интегрируя схему топологии, веса переходов и контроль, учитывающий историю. Обучение с DPO на 161 паре предпочтений в точках разрыва улучшает производительность: ToolGraph+DPO достигает роста награды на 16,8% по сравнению с базовой версией, особенно в задачах авиационного и розничного сектора, где появление положительных наград выступает ключевым диагностическим сигналом.