연구자들은 통합 멀티모달 모델의 공유 컨텍스트 윈도우의 한계를 해결하기 위해 시각 정보를 에피소드 비주얼 메모리로 외부화하는 인지 구조화 멀티모달 에이전트를 제안합니다. 이 시스템은 추론 중 관련 에피소드의 선택적 재활성화를 가능하게 하기 위해 지각 추상화 엔진, 인지 검색 엔진 및 멀티모달 실행 컨트롤러를 활용합니다.
- 에이전트는 강화 학습을 위한 세분화된 검색 주석이 달린 구조화된 다중 턴 대화를 생성하기 위해 통합 시나리오 엔진을 사용합니다.
- 8B 파라미터 버전은 20턴 세션에 걸쳐 91.4%의 검색 정확도를 달성하여 32B 베이스라인보다 +8.2% 뛰어납니다.
- 베이스라인 모델과 비교할 때 턴당 추론 시간이 23.1초에서 12.7초로 거의 절반으로 줄어듭니다.
- 인지 구조화 멀티모달 에이전트 하네스(CMA-Harness)는 영구 메모리와 OpenAI 호환 서빙을 제공하는 도구 확장 배포를 제공합니다.
구조화된 메모리와 모듈형 의사결정은 모놀리식 파라미터 스케일링보다 장기 멀티모달 에이전트에 대해 더 확장 가능하고 효율적인 패러다임을 제공합니다.