Исследование оценивает, накапливаются ли преимущества оптимизации агентов с течением времени путем тестирования трех методов — GEPA, Meta Harness и RELAI-VCL — на сложных задачах Terminal-Bench 2.0. Хотя все методы превосходят статическую базовую линию, только RELAI-VCL успешно переносится на невидимые задачи и продолжает улучшаться после последующих раундов оптимизации.

  • Оптимизированный агент GEPA показал результаты ниже базовой линии без оптимизации при появлении новых задач.
  • Meta Harness хорошо перенесся, но не смог улучшить результаты дальше при втором бюджете оптимизации.
  • RELAI-VCL достиг наивысшего среднего показателя успешности за все время работы — 76,4%, по сравнению с 66,0% для GEPA, 64,6% для Meta Harness и 58,7% для базовой линии.

Авторы приходят к выводу, что преимущества оптимизации накапливаются только тогда, когда контроль регрессии встроен в цикл, обеспечивая индуктивное смещение против решений по кратчайшему пути.