Un estudio evalúa si las ganancias por optimización de agentes se acumulan con el tiempo al probar tres métodos — GEPA, Meta Harness y RELAI-VCL — en las tareas difíciles de Terminal-Bench 2.0. Aunque todos los métodos mejoran una línea base estática, solo RELAI-VCL transfiere exitosamente a tareas no vistas y continúa mejorando después de rondas posteriores de optimización.

  • El agente optimizado por GEPA tuvo un rendimiento por debajo de la línea base sin optimizar cuando se introdujeron nuevas tareas.
  • Meta Harness transfirió bien pero falló en mejorar aún más con un segundo presupuesto de optimización.
  • RELAI-VCL logró la tasa de pase promedio vitalicia más alta del 76,4%, en comparación con el 66,0% para GEPA, 64,6% para Meta Harness y 58,7% para la línea base.

Los autores concluyen que las ganancias por optimización se acumulan solo cuando el control de regresión está integrado en el ciclo, proporcionando un sesgo inductivo contra soluciones atajadas.