Los investigadores proponen un Agente Multimodal Estructurado Cognitivamente que externaliza la información visual en una Memoria Visual Episódica para abordar las limitaciones de las ventanas de contexto compartido en modelos multimodales unificados. El sistema utiliza un Motor de Abstracción Perceptiva, un Motor de Recuperación Cognitiva y un Controlador Ejecutivo Multimodal para habilitar la reactivación selectiva de episodios relevantes durante el razonamiento.
- El agente logra una precisión de recuperación del 91.4% en sesiones de 20 turnos, superando a las bases de 32B en +8.2%.
- El tiempo de inferencia por turno se reduce casi a la mitad, de 23.1s a 12.7s en comparación con los modelos base.
- Un Motor de Escenarios Unificado genera conversaciones multirruta estructuradas con anotaciones de recuperación detalladas para aprendizaje por refuerzo.
- El Arnés Agente Multimodal Estructurado Cognitivamente (CMA-Harness) proporciona un despliegue aumentado con herramientas, memoria persistente y servicio compatible con OpenAI.
La memoria estructurada y la toma de decisiones modular ofrecen un paradigma más escalable y eficiente para agentes multimodales de largo alcance que el escalado monolítico de parámetros.