Les chercheurs proposent un Agent Multimodal à Structure Cognitive qui externalise les informations visuelles dans une Mémoire Visuelle Épisodique afin de pallier les limites des fenêtres de contexte partagées dans les modèles multimodaux unifiés. Le système utilise un Moteur d'Abstraction Perceptuelle, un Moteur de Récupération Cognitive et un Contrôleur Exécutif Multimodal pour permettre la réactivation sélective des épisodes pertinents lors du raisonnement.
- L'agent atteint une précision de récupération de 91,4 % sur des sessions de 20 tours, surpassant les références 32B de +8,2 %.
- Le temps d'inférence par tour est presque divisé par deux, passant de 23,1 s à 12,7 s par rapport aux modèles de référence.
- Un Moteur de Scénario Unifié génère des conversations multi-tours structurées avec des annotations de récupération fines pour l'apprentissage par renforcement.
- Le Harnais d'Agent Multimodal à Structure Cognitive (CMA-Harness) fournit un déploiement augmenté d'outils avec une mémoire persistante et un service compatible OpenAI.
La mémoire structurée et la prise de décision modulaire offrent un paradigme plus évolutif et efficace pour les agents multimodaux longue durée que le scaling monolithique des paramètres.