Исследование оценивает, накапливаются ли преимущества, обусловленные оптимизатором, со временем, тестируя три метода оптимизации агент-хarness на Terminal-Bench 2.0. Исследование сравнивает GEPA, Meta Harness и RELAI's Verifiable Continual Learning (RELAI-VCL) при одинаковых бюджетах, чтобы определить, сохраняются ли улучшения по мере появления новых задач.

  • Оптимизированная производительность агента GEPA падает ниже необработанного базового уровня при введении новых задач.
  • Meta Harness хорошо переносится, но не может улучшить результаты после получения второго оптимизационного бюджета.
  • RELAI-VCL — единственный метод, который положительно переносится на невидимые задачи и продолжает улучшаться, достигая наивысшего среднего показателя прохождения в течение всей жизни 76.4%.
  • Авторы отмечают, что преимущества накапливаются только тогда, когда контроль регрессии встроен в цикл оптимизации для предотвращения кратчайших решений.

Выводы предполагают, что включение контроля регрессии обеспечивает индуктивное смещение против не обобщающих кратчайших путей, обеспечивая устойчивое улучшение в развернутых настройках агентов.