新たな研究は、「知識と利用のギャップ」という現象を特定した。これは大規模言語モデルがファインチューニングされた事実を記憶しながらも、下流の推論タスクでそれらを適用できないというものである。著者たちは、このギャップを記憶と汎化の間の精度の欠如および時間的遅延を通じて特徴づけた。

研究者たちは、見知らぬデータを用いたファインチューニング中に内部知識の浸透ダイナミクスを監視するために、「自己修復」と呼ばれる新規の介入技法を利用した。この手法は、表現を移動させることで失敗した汎化ケースを大幅に改善する特定の活性化位置を特定し、記憶された表現が存在するが計算効率の良い層へルーティングされていないという仮説を支えるものである。これに対処するため、彼らは潜在的な汎化改善の58--75%を回復するヒューリスティック戦略を設計した。

これらの知見は、保存された知識と計算経路の間の不一致がファインチューニング失敗の主要因であることを示しており、ドメイン全体にわたるモデルの有用性を向上させるための診断的アプローチを提供する。