Sebuah studi baru mengidentifikasi "Kesenjangan Mengetahui-Menggunakan", sebuah fenomena di mana model bahasa besar menghafal fakta yang telah difinetuning tetapi gagal menerapkannya dalam tugas penalaran turunan. Para penulis mengkarakterisasi kesenjangan ini melalui defisit akurasi dan jeda temporal antara penghafalan dan generalisasi.
Para peneliti memanfaatkan teknik intervensi novel yang disebut self-patching untuk memantau dinamika permeasi pengetahuan internal selama finetuning dengan data yang belum pernah dilihat. Metode ini mengidentifikasi lokasi aktivasi spesifik di mana memindahkan representasi secara signifikan memperbaiki kasus generalisasi yang gagal, mendukung hipotesis bahwa representasi yang dihafal ada tetapi tidak dialihkan ke lapisan yang efektif secara komputasi. Untuk mengatasi hal ini, mereka merancang strategi heuristik yang memulihkan 58--75% dari peningkatan generalisasi potensial.
Temuan tersebut menunjukkan bahwa ketidaksesuaian antara pengetahuan yang disimpan dan jalur komputasi adalah faktor kunci dalam kegagalan finetuning, menawarkan pendekatan diagnostik untuk meningkatkan utilitas model di seluruh domain.