著者らは、エージェントが固定されたインタラクション予算内で実行可能なポリシーシステムを反復的に編集し、探索されたポリシーを段階的に改善する制御された評価設定であるAutonomous Policy Evolutionを紹介する。

  • EvoPolicyGymは、この反復的改善プロセスを評価するために設計されたコンパクトなインタラクティブRL環境から構築されたベンチマークである。
  • GPT-5.5は、スイート内の全16の環境において、最も強力な集計ランクスコアと上位2位以内のパフォーマンスを実現した。
  • このベンチマークは、エージェントが予算をどのように配分し、フィードバックをパラメータチューニングに変換するかを区別するトラジェクトリレベルの診断を提供する。

著者らは、強力な自律的政策進化には、孤立したタスクの勝利だけでなく、適切なタスクに合ったメカニズムの発見と、制限されたフィードバック下でのポリシーの精緻化が必要であると主張している。