Исследователи предлагают Когнитивно-структурированного Мультимодального Агента, который выносит визуальную информацию в Эпизодическую Визуальную Память, чтобы преодолеть ограничения общих контекстных окон в унифицированных мультимодальных моделях. Система использует Двигатель Перцептивной Абстракции, Двигатель Когнитивного Поиска и Мульти-модальный Исполнительный Контроллер для обеспечения выборочной реактивации релевантных эпизодов во время рассуждений.
- Агент использует Единый Сценарный Двигатель для генерации структурированных многооборотных диалогов с детализированными аннотациями поиска для обучения с подкреплением.
- Версия на 8B параметров достигает точности поиска 91,4% за 20-оборотные сессии, превосходя базовые модели на 32B на +8,2%.
- Время вывода на один оборот почти вдвое сокращается с 23,1 с до 12,7 с по сравнению с базовыми моделями.
- Инструментарий Когнитивно-структурированного Мультимодального Агента (CMA-Harness) обеспечивает развертывание с расширенными инструментами, постоянной памятью и обслуживанием, совместимым с OpenAI.
Структурированная память и модульное принятие решений предлагают более масштабируемую и эффективную парадигму для долгосрочных мультимодальных агентов по сравнению с монотонным масштабированием параметров.