Para peneliti memperkenalkan ExecCritic, sebuah kerangka kerja yang menggabungkan skafolding uji-verifikasi-revisi dengan pembelajaran penguatan berbasis peran untuk meningkatkan agen pemrograman. Sistem ini memisahkan konstruksi tes dari perbaikan kode sumber, menggunakan Agen Uji untuk menghasilkan tes asli repositori dan Agen Perbaikan untuk merevisi kode berdasarkan umpan balik eksekusi.
- Arsitektur ini menggunakan Qwen-3.5-35B-A3B sebagai tulang punggung untuk kedua peran, yang dilatih secara terpisah.
- Agen Uji belajar menghasilkan tes yang valid secara perilaku untuk membedakan patch benar dari salah.
- Agen Perbaikan belajar resolusi tugas langsung dan revisi yang dipandu umpan balik.
- Pada SWE-bench Verified, tes dari agen Qwen Uji pasca-pelatihan meningkatkan tingkat penyelesaian menjadi 72,6%, kenaikan 11,4 poin dibandingkan basis tanpa tes.
Para penulis menganggap ini penting karena kualitas tes menentukan apakah umpan balik eksekusi membantu, dan ExecCritic mencapai peningkatan signifikan tanpa memerlukan model yang lebih kuat atau umpan balik Oracle saat evaluasi.