Pesquisadores propõem um Agente Multimodal Estruturado Cognitivamente que externaliza informações visuais em uma Memória Visual Episódica para abordar as limitações das janelas de contexto compartilhado em modelos multimodais unificados. O sistema utiliza um Motor de Abstração Perceptual, um Motor de Recuperação Cognitiva e um Controlador Executivo Multimodal para permitir a reativação seletiva de episódios relevantes durante o raciocínio.

  • O agente emprega um Motor de Cenário Unificado para gerar conversas multi-turno estruturadas com anotações de recuperação granulares para aprendizado por reforço.
  • Uma versão de 8B parâmetros alcança 91,4% de precisão de recuperação em sessões de 20 turnos, superando as bases de 32B em +8,2%.
  • O tempo de inferência por turno é quase reduzido pela metade, de 23,1s para 12,7s em comparação com os modelos base.
  • A Ferramenta do Agente Multimodal Estruturado Cognitivamente (CMA-Harness) fornece uma implantação com ferramentas aumentadas, memória persistente e serviço compatível com OpenAI.

Memória estruturada e tomada de decisão modular oferecem um paradigma mais escalável e eficiente para agentes multimodais de longo prazo do que o escalamento monolítico de parâmetros.