Um estudo no Terminal-Bench 2.0 avalia se os ganhos da otimização de agentes se acumulam ao longo do tempo, comparando GEPA, Meta Harness e o Aprendizado Contínuo Verificável do RELAI (RELAI-VCL). A pesquisa testa se agentes otimizados podem melhorar em novas tarefas sem erosionar os ganhos anteriores.

  • O agente otimizado do GEPA transferiu abaixo da linha de base não otimizada quando novas tarefas foram introduzidas.
  • Meta Harness transferiu bem, mas falhou ao melhorar ainda mais com um segundo orçamento de otimização.
  • RELAI-VCL foi o único método a transferir positivamente e continuar melhorando, atingindo uma taxa média de aprovação ao longo da vida útil de 76,4%, comparado a 66,0% para GEPA e 64,6% para Meta Harness.

Os autores concluem que os ganhos de otimização se acumulam apenas quando o controle de regressão é incorporado ao loop de otimização para prevenir soluções atalho.