Pesquisadores propõem um Agente Multimodal Estruturado Cognitivamente que externaliza informações visuais em uma Memória Visual Episódica para abordar as limitações das janelas de contexto compartilhado em modelos multimodais unificados. O sistema utiliza um Motor de Abstração Perceptiva, um Motor de Recuperação Cognitiva e um Controlador Executivo Multimodal para permitir a reativação seletiva de episódios relevantes durante o raciocínio.

  • O agente alcança 91,4% de precisão de recuperação em sessões de 20 turnos, superando as bases de 32B em +8,2%.
  • O tempo de inferência por turno é quase reduzido pela metade, de 23,1s para 12,7s em comparação com os modelos base.
  • Um Motor de Cenários Unificado gera conversas multirrote estruturadas com anotações de recuperação detalhadas para aprendizado por reforço.
  • O CMA-Harness (Agarra Agente Multimodal Estruturado Cognitivamente) fornece uma implantação aumentada com ferramentas, memória persistente e serviço compatível com OpenAI.

Memória estruturada e tomada de decisão modular oferecem um paradigma mais escalável e eficiente para agentes multimodais de longo prazo do que o escalamento monolítico de parâmetros.