Los investigadores proponen un Agente Multimodal Estructurado Cognitivamente que externaliza la información visual en una Memoria Visual Episódica para abordar las limitaciones de las ventanas de contexto compartidas en modelos multimodales unificados. El sistema utiliza un Motor de Abstracción Perceptiva, un Motor de Recuperación Cognitiva y un Controlador Ejecutivo Multimodal para permitir la reactivación selectiva de episodios relevantes durante el razonamiento.
- El agente emplea un Motor de Escenario Unificado para generar conversaciones multironda estructuradas con anotaciones de recuperación de gran detalle para aprendizaje por refuerzo.
- Una versión de 8B parámetros alcanza una precisión de recuperación del 91,4% en sesiones de 20 rondas, superando a las líneas base de 32B en +8,2%.
- El tiempo de inferencia por ronda se reduce casi a la mitad, de 23,1 s a 12,7 s, en comparación con los modelos de referencia.
- El Arnés del Agente Multimodal Estructurado Cognitivamente (CMA-Harness) proporciona un despliegue con herramientas aumentadas, memoria persistente y servicio compatible con OpenAI.
La memoria estructurada y la toma de decisiones modular ofrecen un paradigma más escalable y eficiente para agentes multimodales de largo alcance que el escalado monolítico de parámetros.