Les chercheurs présentent TestEvo-Bench, un benchmark live conçu pour évaluer la capacité des agents à gérer la co-évolution des tests logiciels et du code. Contrairement aux benchmarks existants qui s'appuient sur des métadonnées statiques, ce framework utilise des historiques de commits réels et des configurations d'environnement pour vérifier des métriques exécutables telles que le taux de réussite et la couverture.
Le benchmark propose deux pistes : la génération de tests, où les agents écrivent de nouveaux tests pour de nouveaux comportements, et la mise à jour des tests, où ils adaptent les tests échoués au code modifié. Il contient 746 tâches de génération de tests et 509 tâches de mise à jour de tests, sélectionnées à partir de 152 projets Java open-source. La nature live du benchmark permet une évaluation restreinte aux tâches postérieures à la date de coupure d'entraînement d'un modèle, réduisant ainsi les fuites de données.
Les expériences avec des agents combinant Claude Code, Gemini CLI et SWE-Agent ont montré des taux de réussite allant jusqu'à 77,5 % pour la génération de tests et 74,6 % pour la mise à jour des tests. Cependant, les performances chutent significativement sur les tâches récentes et sous des contraintes de coût par tâche limitées.