연구자들은 통합 멀티모달 모델의 공유 컨텍스트 윈도우의 한계를 해결하기 위해 시각 정보를 에피소드 시각 메모리로 외부화하는 인지 구조화 멀티모달 에이전트를 제안합니다. 이 시스템은 지각 추상화 엔진, 인지 검색 엔진 및 멀티모달 실행 컨트롤러를 활용하여 추론 중 관련 에피소드의 선택적 재활성화를 가능하게 합니다.
- 에이전트는 20턴 세션 동안 91.4%의 검색 정확도를 달성하여 32B 베이스라인을 +8.2% 상회합니다.
- 베이스라인 모델과 비교하여 턴별 추론 시간이 23.1초에서 12.7초로 거의 절반으로 줄었습니다.
- 유니파이드 시나리오 엔진은 강화 학습을 위한 미세한 검색 주석이 포함된 구조화된 멀티턴 대화를 생성합니다.
- 인지 구조화 멀티모달 에이전트 하네스(CMA-Harness)는 영구 메모리와 OpenAI 호환 서빙을 갖춘 도구 확장 배포를 제공합니다.
구조화된 메모리와 모듈형 의사결정은 모놀리식 파라미터 스케일링보다 장기 멀티모달 에이전트에 대해 더 확장 가능하고 효율적인 패러다임을 제공합니다.