Los investigadores proponen SPyCE (Skill-Policy Co-evolution), un marco que destila trayectorias de razonamiento multimodal en una biblioteca jerárquica de habilidades que evoluciona junto con la política durante el aprendizaje por refuerzo. Este enfoque aborda las limitaciones de los métodos existentes evitando recompensas escalares y recuperación de memoria estática, creando en su lugar un ciclo cerrado donde políticas mejoradas producen mejores habilidades y habilidades en evolución proporcionan priors más fuertes.
- Las habilidades de ejecución capturan operaciones visuales locales mientras que las habilidades de flujo de trabajo codifican priors de uso de herramientas de alto nivel.
- La política se condicionaliza en las habilidades recuperadas para guiar los rollouts, mientras que la biblioteca de habilidades se actualiza utilizando rollouts valiosos generados por la política.
- Los experimentos en ocho benchmarks muestran que SPyCE supera consistentemente a los baselines basados en RL y memoria.
- El análisis confirma que tanto el diseño jerárquico de habilidades como el mecanismo de coevolución son críticos para el éxito del marco.
Los autores consideran esta optimización conjunta de habilidad-política un paradigma prometedor para construir agentes multimodales capaces.