एक स्वतंत्र शोधकर्ता ने GPT-2, OPT-125M और Llama-3.2-1B सहित सात खुले-वजन मॉडलों में निष्पादन के दौरान छिपी प्रतिनिधित्वों के विकास का विश्लेषण किया है, मानक आउटपुट बेंचमार्क्स से परे आंतरिक गतिशीलता शासनों की पहचान करने के लिए।
- छिपी अवस्था पथरेखाएँ पुनरुत्पादित कार्यात्मक प्रतिस्थापन अवस्थाओं को प्रदर्शित करती हैं, जैसे कि व्याकरण-जैसा प्रसंस्करण और निर्णय-जैसा व्यवहार, जो पैरामीटर गिनती के बजाय आंतरिक गतिशीलता द्वारा क्लस्टरिंग की अनुमति देते हैं।
- रैखिक प्रोब छिपी प्रतिनिधित्वों से कार्यात्मक श्रेणियों को उच्च सटीकता से डीकोड करते हैं, हालांकि लेबल क्रमपरिवर्तन, यादृच्छिक गॉसियन इनपुट या विशेषता क्रमपरिवर्तन के तहत यह प्रदर्शन ढह जाता है।
- छिपी स्थान के लंबवत घूर्णन डीकोडिंग प्रदर्शन को बनाए रखते हैं, जो संकेत देते हैं कि जानकारी प्रतिनिधित्वों की सापेक्ष ज्यामिति में एन्कोड की गई है, न कि व्यक्तिगत न्यूरॉन्स या आयामों में।
- कार्यात्मक हस्ताक्षर विभिन्न आर्किटेक्चरों में विविध निरपेक्ष परतों पर प्रकट होते हैं, जो सुझाव देते हैं कि गणना स्थिर व्याकरणिक या अर्थपूर्ण परतों के बजाय विकसित कार्यात्मक शासन के रूप में संगठित है।
लेखक इन प्रायोगिक अवलोकनों को मान्य करने और आवश्यक नियंत्रण प्रयोग निर्धारित करने के लिए तंत्रवादी व्याख्या और प्रतिनिधित्व सीखने के विशेषज्ञों से आलोचनात्मक प्रतिक्रिया की खोज कर रहे हैं।