Finetuning model bahasa besar sering kali menghasilkan "Kesenjangan Mengetahui-Menggunakan", di mana model menghafal fakta baru tetapi gagal menerapkannya dalam tugas penalaran downstream. Untuk menyelidiki hal ini, peneliti memperkenalkan teknik yang disebut self-patching untuk memantau dinamika permeasi spasial pengetahuan di dalam model.
Studi ini mengidentifikasi bahwa representasi yang dihafal mungkin ada secara internal tetapi tidak dialihkan ke lapisan yang efektif secara komputasi, mendukung hipotesis ketidakselarasan sirkuit pengetahuan. Self-patching menemukan situs aktivasi di mana memindahkan representasi memperbaiki kasus generalisasi yang gagal. Strategi heuristik berdasarkan temuan ini memulihkan 58--75% dari potensi peningkatan dalam generalisasi.
Pendekatan diagnostik ini membantu menjelaskan mengapa pengetahuan yang dihafal gagal untuk digeneralisasi dan menawarkan metode untuk memulihkan peningkatan kinerja yang signifikan selama finetuning model.