Pesquisadores propõem o SPyCE (Skill-Policy Co-evolution), um framework que destila trajetórias de raciocínio multimodal em uma biblioteca hierárquica de habilidades que evolui junto com a política durante o aprendizado por reforço. Esta abordagem aborda limitações em métodos existentes ao evitar recompensas escalares e recuperação de memória estática, criando em vez disso um ciclo fechado onde políticas melhoradas produzem melhores habilidades e habilidades em evolução fornecem priors mais fortes.
- Habilidades de execução capturam operações visuais locais enquanto habilidades de fluxo de trabalho codificam priors de uso de ferramentas de alto nível.
- A política condiciona-se nas habilidades recuperadas para guiar os rollouts, enquanto a biblioteca de habilidades é atualizada usando rollouts valiosos gerados pela política.
- Experimentos em oito benchmarks mostram que o SPyCE supera consistentemente baselines baseados em RL e memória.
- Análise confirma que tanto o design hierárquico de habilidades quanto o mecanismo de coevolução são críticos para o sucesso do framework.
Os autores consideram esta otimização conjunta de habilidade-política um paradigma promissor para construir agentes multimodais capazes.