Un estudio evalúa si las ganancias impulsadas por el optimizador se acumulan con el tiempo al probar tres métodos de optimización de agente-harness en Terminal-Bench 2.0. La investigación compara GEPA, Meta Harness y RELAI's Verifiable Continual Learning (RELAI-VCL) bajo presupuestos idénticos para determinar si las mejoras persisten a medida que aparecen nuevas tareas.

  • El rendimiento del agente optimizado por GEPA se transfiere por debajo de la línea base no optimizada cuando se introducen nuevas tareas.
  • Meta Harness se transfiere bien pero falla en mejorar aún más después de recibir un segundo presupuesto de optimización.
  • RELAI-VCL es el único método que se transfiere positivamente a tareas no vistas y continúa mejorando, alcanzando la tasa de pase promedio vitalicia más alta del 76.4%.
  • Los autores observan que las ganancias se acumulan solo cuando el control de regresión está integrado en el ciclo de optimización para prevenir soluciones atajadas.

Los hallazgos sugieren que incorporar control de regresión proporciona un sesgo inductivo contra atajos no generalizadores, permitiendo una mejora sostenida en configuraciones de agentes desplegados.