本研究は、最適化駆動による利益が時間とともに蓄積されるかどうかを評価するために、Terminal-Bench 2.0で3つのエージェントハーネス最適化手法をテストしました。研究では、GEPA、Meta Harness、およびRELAIのVerifiable Continual Learning（RELAI-VCL）を同一の予算下で比較し、新しいタスクが登場した際に改善が持続するかどうかを判定します。

  • GEPAの最適化されたエージェントのパフォーマンスは、新しいタスクが導入されると未最適化のベースラインを下回る転移を示す。
  • Meta Harnessは良好に転移するが、2回目の最適化予算を受け取った後にさらに改善することはできない。
  • RELAI-VCLは、未知のタスクに正しく転移し、継続的に改善できる唯一の手法であり、生涯平均パス率76.4%という最高値を達成した。
  • 著者らは、ショートカット解決策を防ぐために回帰制御が最適化ループに組み込まれている場合にのみ利益が蓄積されると観察している。

これらの知見は、回帰制御を組み込むことで汎用化しないショートカットに対する誘導バイアスが提供され、展開されたエージェント環境において持続的な改善が可能になることを示唆しています。