Une étude évalue si les gains pilotés par l'optimiseur se cumulent au fil du temps en testant trois méthodes d'optimisation de harnais d'agent sur Terminal-Bench 2.0. La recherche compare GEPA, Meta Harness et l'Apprentissage Continu Vérifiable (RELAI-VCL) de RELAI sous des budgets identiques pour déterminer si les améliorations persistent lorsque de nouvelles tâches apparaissent.
- Les performances de l'agent optimisé par GEPA transfèrent en dessous de la ligne de base non optimisée lorsque de nouvelles tâches sont introduites.
- Meta Harness transfère bien mais échoue à s'améliorer davantage après avoir reçu un deuxième budget d'optimisation.
- RELAI-VCL est la seule méthode qui transfère positivement vers des tâches invisibles et continue de s'améliorer, atteignant le taux de réussite moyen tout au long de la vie le plus élevé de 76,4 %.
- Les auteurs observent que les gains ne se cumulent que lorsque le contrôle de régression est intégré à la boucle d'optimisation pour empêcher les solutions de raccourci.
Les résultats suggèrent que l'intégration du contrôle de régression fournit un biais inductif contre les raccourcis non généralisants, permettant une amélioration soutenue dans les paramètres d'agents déployés.