エージェントの最適化による利益が時間とともに蓄積するかどうかを評価する研究として、Terminal-Bench 2.0の難問に対してGEPA、Meta Harness、RELAI-VCLの3つの手法がテストされました。すべての手法は静的なベースラインを上回りますが、見知らぬタスクへの転移と、その後の最適化ラウンド後の継続的な改善に成功したのはRELAI-VCLのみです。

  • 新しいタスクが導入された際、GEPAの最適化済みエージェントは非最適化のベースラインを下回る結果となりました。
  • Meta Harnessは良好な転移を示しましたが、2回目の最適化予算ではさらに改善できませんでした。
  • RELAI-VCLは、GEPAの66.0%、Meta Harnessの64.6%、ベースラインの58.7%と比較して、76.4%の最高の生涯平均パス率を達成しました。

著者らは、回帰制御がループに組み込まれている場合にのみ最適化による利益が蓄積すると結論付け、ショートカットソリューションに対する帰納的バイアスを提供しています。