एक अध्ययन एक-शॉट न्यूरॉन-रो शून्यीकरण का उपयोग करके भाषा मॉडलों में न्यूरॉन सिलेक्टरों का परीक्षण करता है यह निर्धारित करने के लिए कि क्या अट्रिब्यूशन स्कोर कारण से महत्वपूर्ण पंक्तियों की पहचान करते हैं। शोध प्रदर्शित करता है कि अट्रिब्यूशन विधियाँ पांच LLMs में निरपेक्ष पंक्तियों की पहचान करने में सक्रियण और परिमाण आधारित बेलाइनों की तुलना में काफी बेहतर हैं।
- अट्रिब्यूटेड पंक्तियाँ घृणा और अपराध विषयों पर मना करने की स्थिति स्थापित करने के लिए पर्याप्त हैं, जबकि हानिरहित ओवर-रिफ्यूज़ल को कम रखते हुए प्रवाह को बनाए रखती हैं।
- एक ही गहराई पर विशिष्ट लेयर-मैच्ड यादृच्छिक नियंत्रण इस प्रभाव का उत्पादन करने में विफल रहते हैं, जो कारण वैधता की पुष्टि करते हैं।
- निष्कर्षों के अनुसार, उच्च रैंक-स्थिर सिलेक्टर सबसे कम कारण वैध हो सकते हैं।
- मना करना एक अतिरिक्त सबस्पेस में निवास करता है जहाँ विभिन्न अट्रिब्यूशन विधियाँ इसे मुख्य रूप से असंयुक्त पंक्ति समूहों के माध्यम से स्थापित करती हैं।
लेखक इस निष्कर्ष पर पहुँचते हैं कि रैंक-स्थिरता प्रॉक्सी सीधे कारण परीक्षण द्वारा उजागर की जा सकने वाली सिलेक्टर विफलताओं को चूक जाती हैं, यह दिखाते हुए कि पुनर्प्राप्त एडिट एक पर्याप्त सेट का एक साकारण है न कि एक अद्वितीय तंत्र।