Um estudo avalia se os ganhos impulsionados pelo otimizador se acumulam ao longo do tempo, testando três métodos de otimização de agente-harness no Terminal-Bench 2.0. A pesquisa compara GEPA, Meta Harness e RELAI's Verifiable Continual Learning (RELAI-VCL) sob orçamentos idênticos para determinar se as melhorias persistem à medida que novas tarefas aparecem.
- O desempenho do agente otimizado pelo GEPA é transferido abaixo da linha de base não otimizada quando novas tarefas são introduzidas.
- Meta Harness transfere bem, mas falha em melhorar ainda mais após receber um segundo orçamento de otimização.
- RELAI-VCL é o único método que transfere positivamente para tarefas não vistas e continua melhorando, atingindo a maior taxa média de passagem vitalícia de 76.4%.
- Os autores observam que os ganhos se acumulam apenas quando o controle de regressão é incorporado ao ciclo de otimização para prevenir soluções atalho.
As descobertas sugerem que incorporar controle de regressão fornece um viés indutivo contra atalhos não generalizadores, permitindo melhoria sustentada em configurações de agentes implantados.