Um estudo avalia se os ganhos de otimização de agentes se acumulam ao longo do tempo, testando três métodos — GEPA, Meta Harness e RELAI-VCL — nas tarefas difíceis do Terminal-Bench 2.0. Embora todos os métodos melhorem uma linha de base estática, apenas o RELAI-VCL transfere com sucesso para tarefas não vistas e continua a melhorar após rodadas subsequentes de otimização.

  • O agente otimizado pelo GEPA teve desempenho abaixo da linha de base não otimizada quando novas tarefas foram introduzidas.
  • O Meta Harness transferiu bem, mas falhou em melhorar ainda mais com um segundo orçamento de otimização.
  • O RELAI-VCL alcançou a maior taxa média de aprovação ao longo da vida toda de 76,4%, comparado a 66,0% para o GEPA, 64,6% para o Meta Harness e 58,7% para a linha de base.

Os autores concluem que os ganhos de otimização se acumulam apenas quando o controle de regressão é incorporado ao loop, fornecendo um viés indutivo contra soluções atalho.