研究人员提出了SPyCE（Skill-Policy Co-evolution），这是一个框架，它将多模态推理轨迹提炼为一个分层技能库，该库在强化学习过程中与策略共同进化。这种方法通过避免标量奖励和静态记忆检索来解决现有方法的局限性，而是创建一个闭环，其中改进的策略产生更好的技能，而进化的技能提供更强的先验。

  • 执行技能捕捉局部视觉操作，而工作流技能编码高层工具使用先验。
  • 策略根据检索到的技能进行条件判断以指导 rollout，而技能库则使用由策略生成的有价值 rollout 进行更新。
  • 在八个基准测试中的实验表明，SPyCE 一致地优于基于 RL 和基于记忆的基线。
  • 分析证实，分层技能设计和协同进化机制对于该框架的成功都至关重要。

作者认为这种联合技能-策略优化是构建强大多模态智能体的有前景的范式。