Sebuah studi terdaftar sebelumnya memperkenalkan PoPE (Popperian Placebo-controlled Evaluation) untuk menguji apakah informasi kesalahan tertentu membantu LLM kode kecil yang dibekukan memperbaiki kesalahan mereka sendiri. Metodologi ini memasangkan countercontoh eksekusi dengan plasebo spesifik saluran untuk mengisolasi efek konten kesalahan dari perancah struktural di kedua saluran prompt dan bobot.
- Di saluran prompt, 12 unit dibuka kunci di bawah plasebo bentuk yang di-ablasi kontennya dibandingkan dengan 10 di lengan pola kesalahan langsung pada pita tahan 40 unit, menghasilkan temuan mekanisme-nol.
- Di saluran bobot menggunakan pelatihan adaptor data kecil, ikatan 8-8 diamati antara adaptor konten kesalahan dan baseline bebas intervensi (p=1.0).
- Adaptor plasebo yang terganggu SHA tetap unggul dengan 10 pembukaan kunci, sementara keunggulan yang dapat dikaitkan dengan konten tidak dikonfirmasi.
Temuan tersebut menunjukkan bahwa ketika representasi yang dipelajari dari oracle ditulis kembali ke keadaan generasi, pengujian diganti oleh kondisioning daripada perbaikan mandiri operasional.