Les chercheurs proposent SPyCE (Skill-Policy Co-evolution), un cadre qui condense les trajectoires de raisonnement multimodal dans une bibliothèque de compétences hiérarchique qui évolue parallèlement à la politique pendant l'apprentissage par renforcement. Cette approche comble les limites des méthodes existantes en évitant les récompenses scalaires et la récupération de mémoire statique, créant plutôt une boucle fermée où des politiques améliorées produisent de meilleures compétences et des compétences en évolution fournissent des a priori plus forts.
- Les compétences d'exécution capturent les opérations visuelles locales tandis que les compétences de flux de travail encodent des a priori d'utilisation d'outils de haut niveau.
- La politique se conditionne sur les compétences récupérées pour guider les rollouts, tandis que la bibliothèque de compétences se met à jour en utilisant les rollouts précieux générés par la politique.
- Les expériences sur huit benchmarks montrent que SPyCE surpasse systématiquement les références basées sur RL et la mémoire.
- L'analyse confirme que la conception hiérarchique des compétences et le mécanisme de coévolution sont tous deux critiques pour le succès du cadre.
Les auteurs considèrent cette optimisation conjointe compétence-politique comme un paradigme prometteur pour construire des agents multimodaux capables.