ExecCritic memperkenalkan kerangka kerja yang memisahkan konstruksi pengujian dari perbaikan kode sumber untuk mencegah kepercayaan palsu pada agen pemrograman. Sistem ini menggunakan Agen Pengujian dan Agen Perbaikan, keduanya didukung oleh Qwen-3.5-35B-A3B, yang dilatih secara terpisah menggunakan pembelajaran penguatan.
- Agen Pengujian belajar menghasilkan pengujian yang valid secara perilaku untuk membedakan patch benar dari yang salah.
- Agen Perbaikan menggunakan umpan balik eksekusi dari pengujian ini untuk merevisi kode sumber tanpa mengubah suite pengujian.
- Pada SWE-bench Verified, agen Qwen pasca-pelatihan mencapai tingkat keberhasilan 72.6%, peningkatan 11.4 poin dibandingkan baseline tanpa pengujian.
- Kualitas pengujian sangat penting; pengujian model dasar mengurangi kinerja, sementara pengujian GPT-5.6-sol meningkatkannya menjadi 65.3%.
Pendekatan ini memungkinkan agen pemrograman meningkatkan perbaikan repositori melalui umpan balik eksekusi yang andal tanpa memerlukan model yang lebih kuat atau umpan balik Oracle selama evaluasi.