Les chercheurs proposent un Agent Multimodal à Structure Cognitive qui externalise les informations visuelles dans une Mémoire Visuelle Épisodique afin de pallier les limites des fenêtres de contexte partagées dans les modèles multimodaux unifiés. Le système utilise un Moteur d'Abstraction Perceptuelle, un Moteur de Récupération Cognitif et un Contrôleur Exécutif Multimodal pour permettre la réactivation sélective des épisodes pertinents lors du raisonnement.
- L'agent emploie un Moteur de Scénario Unifié pour générer des conversations multi-tours structurées avec des annotations de récupération fines pour l'apprentissage par renforcement.
- Une version à 8 milliards de paramètres atteint une précision de récupération de 91,4 % sur des sessions de 20 tours, surpassant les bases de référence à 32 milliards de paramètres de +8,2 %.
- Le temps d'inférence par tour est presque divisé par deux, passant de 23,1 s à 12,7 s par rapport aux modèles de base.
- Le Harnais d'Agent Multimodal à Structure Cognitive (CMA-Harness) fournit un déploiement augmenté d'outils avec une mémoire persistante et un service compatible OpenAI.
La mémoire structurée et la prise de décision modulaire offrent un paradigme plus évolutif et efficace pour les agents multimodaux à long terme que la mise à l'échelle monolithique des paramètres.