एक अध्ययन से पता चलता है कि बड़े भाषा मॉडल अपनी शेष प्रतिक्रिया लंबाई का एक आंतरिक अनुमान बनाए रखते हैं, जिसे फ्रोजन छिपी हुई अवस्थाओं से डीकोड किया जा सकता है। शोधकर्ताओं ने इस घटना की जांच करने के लिए सात पूर्ण-शैली डेटासेट पर तीन ओपन-वेट 7-8B मॉडल पर न्यूनतम-क्षमता वाले रैखिक प्रोब को प्रशिक्षित किया।
- कुल प्रतिक्रिया लंबाई किसी आउटपुट उत्पन्न करने से पहले प्रॉम्प्ट की अंतिम छिपी हुई अवस्था से रैखिक रूप से डीकोड योग्य है।
- प्रोब दिशाएँ नियंत्रित संश्लेषित पूर्णताओं पर व्यापक रूप से स्थानांतरित होती हैं, जो सांख्यिकीय आधारों को पार कर जाती हैं।
- उच्च-लॉस पूर्णताओं पर, जब मॉडल समाधान को वापस लेता और पुनः आरंभ करता है, तो प्रोब का अनुमान ऊपर की ओर स्थानांतरित हो जाता है।
यह निष्कर्ष सुझाव देते हैं कि LLM आउटपुट लंबाई के लिए एक योजना-सदृश आंतरिक प्रतिनिधित्व बनाए रखते हैं, जो ट्रान्सफॉर्मर्स के लिए सटीक गणना की असंभवता परिणामों से भिन्न है।