Un estudio en Terminal-Bench 2.0 evalúa si las ganancias de la optimización de agentes se acumulan con el tiempo comparando GEPA, Meta Harness y el Aprendizaje Continuo Verificable de RELAI (RELAI-VCL). La investigación prueba si los agentes optimizados pueden mejorar en nuevas tareas sin erosionar las ganancias anteriores.

  • El agente optimizado de GEPA transferió por debajo de la línea base no optimizada cuando se introdujeron nuevas tareas.
  • Meta Harness transfirió bien pero falló al mejorar aún más con un segundo presupuesto de optimización.
  • RELAI-VCL fue el único método que transfirió positivamente y continuó mejorando, alcanzando una tasa de aprobación promedio a lo largo de la vida útil del 76,4% en comparación con el 66,0% para GEPA y el 64,6% para Meta Harness.

Los autores concluyen que las ganancias de optimización se acumulan solo cuando el control de regresión está integrado en el bucle de optimización para prevenir soluciones atajadas.