Los investigadores presentan TestEvo-Bench, un benchmark en vivo diseñado para evaluar qué tan bien los agentes manejan la coevolución de las pruebas de software y el código. A diferencia de los benchmarks existentes que dependen de metadatos estáticos, este marco utiliza historiales reales de commits y configuraciones del entorno para verificar métricas ejecutables como la tasa de aprobación y la cobertura.
El benchmark presenta dos pistas: generación de pruebas, donde los agentes escriben nuevas pruebas para un nuevo comportamiento, y actualización de pruebas, donde adaptan las pruebas que fallan al código cambiado. Contiene 746 tareas de generación de pruebas y 509 tareas de actualización de pruebas curadas a partir de 152 proyectos de Java de código abierto. La naturaleza en vivo del benchmark permite una evaluación restringida a tareas posteriores al corte de entrenamiento de un modelo para reducir la fuga de datos.
Los experimentos con agentes que combinan Claude Code, Gemini CLI y SWE-Agent muestran tasas de éxito de hasta el 77.5% en generación de pruebas y el 74.6% en actualización de pruebas. Sin embargo, el rendimiento disminuye significativamente en tareas recientes y bajo restricciones limitadas de costo por tarea.