Studi ini menguraikan nilai feedback perbaikan-diri dalam model kode beku kecil menggunakan desain terkontrol plasebo untuk menentukan apakah peningkatan berasal dari paparan ulang ke kode yang gagal atau dari kritik yang dapat dieksekusi. Penelitian ini menantang mekanisme retry standar dengan memperlakukan program yang dihasilkan sebagai konjektur dan pelanggaran eksekusi tes sebagai counterexample.
- Dievaluasi 290 unit sel tugas mati di enam sel HumanEval+/MBPP+ menggunakan tiga model beku 0,5B-1,5B.
- Resampling buta melebihi retry kode telanjang dengan +18 unlock bersih (p=0,0021).
- Feedback kode-plus-fakta memulihkan +18 di atas kode telanjang dan +15 di atas plasebo generic-bullet.
- Efek hanya-instruksi tidak dapat dibedakan secara statistik dari plasebo.
- Falsifikasi membantu sebagai perbandingan dengan counterexample eksternal yang dapat dieksekusi daripada kosakata atau kritik-diri.
Temuan ini menunjukkan bahwa dalam pengaturan deployment di mana pelatihan ulang tidak layak, nilai feedback berasal dari kritik eksternal yang dapat dieksekusi daripada sekadar paparan ke output yang gagal.