Исследователи предлагают Когнитивно-структурированного Мультимодального Агента, который выносит визуальную информацию в Эпизодическую Визуальную Память, чтобы преодолеть ограничения общих контекстных окон в унифицированных мультимодальных моделях. Система использует Двигатель Перцептивной Абстракции, Двигатель Когнитивного Поиска и Мульти-модальный Исполнительный Контроллер для обеспечения выборочной реактивации релевантных эпизодов во время рассуждений.
- Агент достигает точности поиска 91.4% за сессии из 20 ходов, превосходя базовые модели на 32B на +8.2%.
- Время вывода на один ход почти вдвое сокращается с 23.1s до 12.7s по сравнению с базовыми моделями.
- Унифицированный Двигатель Сценариев генерирует структурированные многоходовые разговоры с детализированными аннотациями поиска для обучения с подкреплением.
- Когнитивно-структурированная Обвязка Мультимодального Агента (CMA-Harness) обеспечивает развертывание с расширенными инструментами, постоянной памятью и обслуживанием, совместимым с OpenAI.
Структурированная память и модульное принятие решений предлагают более масштабируемую и эффективную парадигму для мультимодальных агентов на длительных горизонтах по сравнению с монотонным масштабированием параметров.