बड़े भाषा मॉडल (LLM) का फाइन-ट्यूनिंग अक्स एक "ज्ञान-उपयोग अंतर" का परिणाम देता है, जहां मॉडल नए तथ्यों को याद कर लेते हैं लेकिन निम्नलिखित तर्क कार्यों में उनका अनुप्रयोग करने में विफल रहते हैं। इसकी जांच के लिए, शोधकर्ताओं ने मॉडल के भीतर ज्ञान की स्थानिक प्रवेश गतिशीलता की निगरानी के लिए स्वयं-मरम्मत नामक एक तकनीक पेश की।
अध्ययन में पहचाना गया है कि याद किए गए प्रतिनिधित्व आंतरिक रूप से मौजूद हो सकते हैं, लेकिन गणना-प्रभावी परतों तक रूट नहीं किए जाते हैं, जो ज्ञान-सर्किट असंगति परिकल्पना का समर्थन करता है। स्वयं-मरम्मत उन सक्रियण स्थलों को खोजता है जहां प्रतिनिधित्वों को पुनः स्थानांतरित करने से विफल सामान्यीकरण मामलों में सुधार होता है। इन निष्कर्षों पर आधारित एक हेयूरिस्टिक रणनीति सामान्यीकरण में संभावित सुधार के 58--75% को पुनः प्राप्त करती है।
यह निदान दृष्टिकोण यह समझने में मदद करता है कि याद किया गया ज्ञान सामान्यीकृत क्यों नहीं होता है, और मॉडल फाइन-ट्यूनिंग के दौरान महत्वपूर्ण प्रदर्शन लाभ को पुनः प्राप्त करने का एक विधि प्रदान करता है।