Los investigadores proponen un Agente Multimodal Estructurado Cognitivamente que externaliza la información visual en una Memoria Visual Episódica para abordar las limitaciones de las ventanas de contexto compartido en modelos multimodales unificados. El sistema utiliza un Motor de Abstracción Perceptual, un Motor de Recuperación Cognitiva y un Controlador Ejecutivo Multimodal para habilitar la reactivación selectiva de episodios relevantes durante el razonamiento.
- El agente emplea un Motor de Escenario Unificado para generar conversaciones multi-turno estructuradas con anotaciones de recuperación detalladas para aprendizaje por refuerzo.
- Una versión de 8B parámetros alcanza una precisión de recuperación del 91,4% en sesiones de 20 turnos, superando a las bases de 32B en +8,2%.
- El tiempo de inferencia por turno se reduce casi a la mitad, de 23,1s a 12,7s en comparación con los modelos base.
- El Arnés del Agente Multimodal Estructurado Cognitivamente (CMA-Harness) proporciona un despliegue con herramientas aumentadas, memoria persistente y servicio compatible con OpenAI.
La memoria estructurada y la toma de decisiones modular ofrecen un paradigma más escalable y eficiente para agentes multimodales de largo plazo que el escalado monolítico de parámetros.