Qwen2-1.5B मॉडल पर शब्दावली-लॉगिट स्टीयरिंग का एक कारणिक अध्ययन दर्शाता है कि स्टीयरिंग सदिश में सबसे बड़े निर्देशांक अवलोकित व्यवहारिक प्रभावों के लिए ज़िम्मेदार नहीं होते हैं। ntrillard द्वारा किए गए इस अध्ययन में यह विश्लेषण किया गया है कि विरल रैंक की गई लॉगिट स्टीयरिंग टोकन उत्पादन को कैसे प्रभावित करती है और इन परिवर्तनों को चलाने वाले विशिष्ट संरचनात्मक घटकों की पहचान की गई है।
- लक्ष्य शब्दों के उत्पादन (परिवहन) लगभग K≈150 पर दिखाई देता है और K≈300 तक बना रहता है, जहाँ K=200 अधिकतम-अनुनाद बिंदु है लेकिन कोई अद्वितीय व्यवहारिक इष्टतम नहीं।
- शुद्ध पंक्ति(W) प्रक्षेपण (λ=1) में 30 बीजों के लिए शून्य परिवहन दिखाई देता है, जबकि प्रत्येक λ<1 स्थिति में एक गैर-शून्य आउट-ऑफ़-रो घटक बना रहता है और कुछ मात्रा में परिवजन दिखाई देता है।
- इस प्रभाव को अर्थवहन के बजाय शब्दिक बल के रूप में पहचाना गया है; शीर्ष-200 शब्दिक पड़ोसियों को बढ़ावा देने से 27/30 परिवजन मिलता है, जबकि बिना बढ़ाए गए अर्थवहन पड़ोसियों से 0/30 मिलता है।
- सबसे बड़े एकल निर्देशांक को हटाने से प्रभाव समाप्त नहीं होता, जिससे संकेत मिलता है कि स्टीयरिंग सदिश में कोई एक भार-वाहक निर्देशांक मौजूद नहीं है।
प्रत्येक उपसर्ग या स्वयं-संदर्भ के लिए सदिश को गतिशील रूप से पुनः गणना करने से सदिश में नगण्य परिवर्तन होता है और स्थिर सदिशों की तुलना में प्रदर्शन में कोई सुधार नहीं होता।
इन निष्कर्षों से संकेत मिलता है कि निर्देशांक पहचान और रैंक किए गए परिमाण के बीच का अंतःक्रिया स्टीयरिंग सफलता के लिए महत्वपूर्ण है, जो यह मानने की धारणाओं को चुनौती देता है कि कौन से सदिश घटक मॉडल व्यवहार को चलाते हैं।