Исследование на Terminal-Bench 2.0 оценивает, накапливаются ли преимущества оптимизации агентов со временем, путём сравнения GEPA, Meta Harness и метода проверяемого непрерывного обучения RELAI (RELAI-VCL). Исследование проверяет, могут ли оптимизированные агенты улучшать результаты на новых задачах без потери предыдущих достижений.

  • Оптимизированный агент GEPA показал результат ниже базового уровня без оптимизации при появлении новых задач.
  • Meta Harness хорошо перенёс знания, но не смог улучшить результаты дальше при выделении второго бюджета на оптимизацию.
  • RELAI-VCL стал единственным методом, продемонстрировавшим положительный перенос и дальнейшее улучшение, достигнув среднего показателя успешного прохождения за всю жизнь 76,4% по сравнению с 66,0% для GEPA и 64,6% для Meta Harness.

Авторы приходят к выводу, что преимущества оптимизации накапливаются только тогда, когда контроль регрессии встроен в цикл оптимизации для предотвращения решения через «короткие пути».