Pesquisadores apresentam o TestEvo-Bench, um benchmark ao vivo projetado para avaliar quão bem os agentes lidam com a coevolução de testes de software e código. Diferente de benchmarks existentes que dependem de metadados estáticos, esta estrutura utiliza históricos reais de commits e configurações de ambiente para verificar métricas executáveis como taxa de aprovação (pass rate) e cobertura.
O benchmark apresenta duas trilhas: geração de testes, onde os agentes escrevem novos testes para um novo comportamento, e atualização de testes, onde eles adaptam testes que falham ao código alterado. Ele contém 746 tarefas de geração de testes e 509 tarefas de atualização de testes curadas a partir de 152 projetos Java de código aberto. A natureza ao vivo do benchmark permite uma avaliação restrita a tarefas posteriores ao corte de treinamento de um modelo para reduzir o vazamento de dados.
Experimentos com agentes combinando Claude Code, Gemini CLI e SWE-Agent mostram taxas de sucesso de até 77,5% na geração de testes e 74,6% na atualização de testes. No entanto, o desempenho cai significativamente em tarefas recentes e sob restrições limitadas de custo por tarefa.