Исследователи представляют TestEvo-Bench, живой бенчмарк, предназначенный для оценки того, насколько хорошо агенты справляются с совместной эволюцией программных тестов и кода. В отличие от существующих бенчмарков, опирающихся на статические метаданные, эта платформа использует реальные истории коммитов и конфигурации окружения для проверки исполняемых метрик, таких как доля успешных прохождений (pass rate) и покрытие.
Бенчмарк включает два трека: генерация тестов, где агенты пишут новые тесты для нового поведения, и обновление тестов, где они адаптируют падающие тесты к изменённому коду. Он содержит 746 задач на генерацию тестов и 509 задач на обновление тестов, отобранных из 152 проектов с открытым исходным кодом на Java. Живой характер бенчмарка позволяет проводить оценку, ограниченную задачами, датированными позже момента обучения модели, чтобы уменьшить утечку данных.
Эксперименты с агентами, объединяющими Claude Code, Gemini CLI и SWE-Agent, показывают уровень успеха до 77.5% на генерации тестов и 74.6% на обновлении тестов. Однако производительность значительно падает на недавних задачах и при ограниченных ограничениях стоимости на задачу.