Исследователи предлагают Когнитивно-структурированного Мультимодального Агента, который выносит визуальную информацию в Эпизодическую Визуальную Память для преодоления ограничений общих контекстных окон в унифицированных мультимодальных моделях. Система использует Перцептивный Абстрагирующий Двигатель, Когнитивный Двигатель Поиска и Мультимодальный Исполнительный Контроллер для обеспечения выборочной реактивации релевантных эпизодов во время рассуждения.
- Агент применяет Единый Сценарный Двигатель для генерации структурированных многооборотных диалогов с детализированными аннотациями поиска для обучения с подкреплением.
- Версия на 8B параметров достигает точности поиска 91,4% за 20-оборотные сессии, превосходя базовые модели на 32B на +8,2%.
- Время вывода на один оборот почти вдвое сократилось с 23,1 с до 12,7 с по сравнению с базовыми моделями.
- Инструментарий Когнитивно-структурированного Мультимодального Агента (CMA-Harness) обеспечивает развертывание с расширенными инструментами, постоянной памятью и обслуживанием, совместимым с OpenAI.
Структурированная память и модульное принятие решений предлагают более масштабируемую и эффективную парадигму для долгосрочных мультимодальных агентов по сравнению с монотонным масштабированием параметров.