Pesquisadores propõem um Agente Multimodal Estruturado Cognitivamente que externaliza informações visuais em uma Memória Visual Episódica para abordar as limitações das janelas de contexto compartilhadas em modelos multimodais unificados. O sistema utiliza um Motor de Abstração Perceptiva, um Motor de Recuperação Cognitiva e um Controlador Executivo Multimodal para permitir a reativação seletiva de episódios relevantes durante o raciocínio.

  • O agente emprega um Motor de Cenário Unificado para gerar conversas multironda estruturadas com anotações de recuperação granular para aprendizado por reforço.
  • Uma versão de 8B parâmetros alcança 91,4% de precisão de recuperação em sessões de 20 rodadas, superando as linhas de base de 32B em +8,2%.
  • O tempo de inferência por rodada é quase reduzido pela metade, de 23,1 s para 12,7 s, em comparação com os modelos de referência.
  • A Estrutura do Agente Multimodal Estruturado Cognitivamente (CMA-Harness) fornece uma implantação com ferramentas aumentadas, memória persistente e serviço compatível com OpenAI.

Memória estruturada e tomada de decisão modular oferecem um paradigma mais escalável e eficiente para agentes multimodais de longo alcance do que o escalonamento monolítico de parâmetros.