Une étude sur Terminal-Bench 2.0 évalue si les gains de l'optimisation des agents se composent dans le temps en comparant GEPA, Meta Harness et l'Apprentissage Continu Vérifiable (RELAI-VCL) de RELAI. La recherche teste si les agents optimisés peuvent s'améliorer sur de nouvelles tâches sans éroder les gains précédents.
- L'agent optimisé de GEPA a transféré en dessous de la ligne de base non optimisée lorsque de nouvelles tâches ont été introduites.
- Meta Harness a bien transféré mais n'a pas réussi à s'améliorer davantage avec un deuxième budget d'optimisation.
- RELAI-VCL a été la seule méthode à transférer positivement et à continuer de s'améliorer, atteignant un taux de réussite moyen tout au long de la vie de 76,4 % par rapport à 66,0 % pour GEPA et 64,6 % pour Meta Harness.
Les auteurs concluent que les gains d'optimisation ne se composent que lorsque le contrôle de la régression est intégré à la boucle d'optimisation pour empêcher les solutions de contournement.