Para peneliti memperkenalkan SWE-rebench V2, sebuah pipeline otomatis agnostik bahasa yang dirancang untuk memanen tugas rekayasa perangkat dunia nyata yang dapat dieksekusi dan membangun lingkungan pelatihan pembelajaran penguatan secara skala besar. Sistem ini mensintesis prosedur instalasi dan pengujian spesifik repositori melalui agen pengaturan interaktif dan memfilter instance yang tidak valid menggunakan ensemble hakim LLM.
- Membangun dataset berisi 32.079 tugas yang mencakup 20 bahasa dan 3.617 repositori dengan gambar pra-dibangun untuk eksekusi yang dapat direproduksi.
- Merilis lebih dari 120.000 tugas tambahan dengan instruksi instalasi, tes fail-to-pass, dan metadata kaya yang berasal dari deskripsi pull request.
- Menyediakan metadata diagnostik tingkat instance untuk menandai konfounder umum seperti tes yang terlalu restriktif dan deskripsi yang kurang terdefinisi.
- Memvalidasi instance yang dikumpulkan melalui studi diagnostik yang mencakup lima bahasa pemrograman di tujuh model populer.
Rilis dataset, kode pengumpulan, dan artefak terkait memungkinkan pelatihan agen SWE skala besar di berbagai bahasa dan repositori.