研究者らは、マルチモーダル推論の軌道を入力として、強化学習中にポリシーとともに進化する階層的なスキルライブラリを生成するフレームワーク「SPyCE（Skill-Policy Co-evolution）」を提案した。このアプローチは、スカラー報酬や静的なメモリ検索を回避することで既存手法の限界に対処し、改善されたポリシーがより良いスキルを生み出し、進化していくスキルがより強力な事前知識を提供するという閉ループを実現する。

  • 実行スキルは局所的な視覚操作を捉え、ワークフロースキルは高レベルのツール使用に関する事前知識をエンコードする。
  • ポリシーは取得したスキルに基づいてロールアウトを誘導し、スキルライブラリはポリシーによって生成された有用なロールアウトを用いて更新される。
  • 8つのベンチマークでの実験により、SPyCEが強化学習ベースおよびメモリベースのベースラインを一貫して上回ることを示した。
  • 分析により、階層的なスキルの設計と共進化メカニズムの両方がフレームワークの成功に不可欠であることが確認された。

著者らは、このスキルとポリシーの共同最適化を、能力の高いマルチモーダルエージェントを構築するための有望なパラダイムと考えている。