शोधकर्ताओं ने जांच की कि क्या न्यूराल नेटवर्क में व्यक्तिगत वजन को प्रशिक्षण वितरण के पूरे दायरे में वैश्विक रूप से समझा जा सकता है, यह विशेषज्ञता करके कि वे कब महत्वपूर्ण होते हैं। उन्होंने एक स्वचालित LLM पाइपलाइन पेश की जो हटाए गए टेक्स्ट पर वजन फ़ंक्शन के मानव-पठनीय विवरण उत्पन्न और सत्यापित करती है।
- अध्ययन ने व्याख्या योग्य वजन के अंश को मापने के लिए दो स्पार्स और दो घने ट्रान्सफॉर्मर्स की तुलना की।
- एक स्पार्स ट्रान्सफॉर्मर मॉडल के वजन का एक सार्थक अंश व्याख्या योग्य हो सकता है, जिसमें 12 से 31% में उनके उपयोग को पहचानने वाला एक छोटा विवरण होता है।
- जब अविश्वसनीय विवरणों को खारिज कर दिया जाता है, तो स्पार्स और घने मॉडलों के बीच व्याख्या योग्यता में अंतर बढ़ जाता है।
परिणाम दर्शाते हैं कि स्पार्स ट्रान्सफॉर्मर्स में व्यक्तिगत पैरामीटर यांत्रिक व्याख्या के लिए अधिक अनुकूल होते हैं, जबकि घने आर्किटेक्चर में नहीं।