Terminal-Bench 2.0に関する研究は、GEPA、Meta Harness、およびRELAIのVerifiable Continual Learning(RELAI-VCL)を比較することで、エージェント最適化の利益が時間とともに複合するかを評価する。この研究は、最適化されたエージェントが以前の利益を損なうことなく新しいタスクで改善できるかどうかを検証する。

  • GEPAの最適化エージェントは、新しいタスクが導入された際に未最適化のベースラインを下回る転移を示した。
  • Meta Harnessは良好に転移したが、2回目の最適化予算ではさらに改善できなかった。
  • RELAI-VCLは正の転移を行い継続的に改善できた唯一の方法であり、GEPAの66.0%およびMeta Harnessの64.6%に対して76.4%の生涯平均合格率を達成した。

著者らは、最適化ループに回帰制御を組み込んでショートカットソリューションを防ぐ場合にのみ、最適化の利益が複合すると結論づけている。