Para peneliti memperkenalkan TestEvo-Bench, sebuah benchmark live yang dirancang untuk mengevaluasi seberapa baik agen menangani ko-evolusi tes perangkat lunak dan kode. Berbeda dengan benchmark yang ada yang mengandalkan metadata statis, kerangka kerja ini menggunakan riwayat commit nyata dan konfigurasi lingkungan untuk memverifikasi metrik yang dapat dieksekusi seperti tingkat keberhasilan dan cakupan.
Benchmark ini memiliki dua jalur: generasi tes, di mana agen menulis tes baru untuk perilaku baru, dan pembaruan tes, di mana mereka menyesuaikan tes yang gagal dengan kode yang berubah. Benchmark ini berisi 746 tugas generasi tes dan 509 tugas pembaruan tes yang dikurasi dari 152 proyek Java open-source. Sifat live dari benchmark ini memungkinkan evaluasi yang dibatasi hanya pada tugas-tugas setelah cutoff pelatihan model, sehingga mengurangi kebocoran data.
Eksperimen dengan agen yang menggabungkan Claude Code, Gemini CLI, dan SWE-Agent menunjukkan tingkat keberhasilan hingga 77,5% pada generasi tes dan 74,6% pada pembaruan tes. Namun, performa turun secara signifikan pada tugas-tugas terbaru dan di bawah batasan biaya per tugas yang terbatas.