लेख का तर्क है कि भाषा-मॉडल निरूपणों में वर्ग-अंतर्विचरण पूर्ण न्यूरल कोलाप्स नहीं, बल्कि एक विशिष्ट नियम द्वारा शासित आवंटित जानकारी भंडारण है। यह प्रदर्शित करता है कि मैक्रो-श्रेणी संरचना केवल 4-12% निरूपणात्मक विचरण की व्याख्या करती है, जबकि टोकन-अंतर्गत संदर्भ 79-91% वहन करता है, जो 100x पैरामीटर श्रेणी में एक स्थिर अनुपात है।
- एक केंद्रण सर्वसमिका निरूपण संरचना के संबंध में सिम्प्लेक्स इक्विअंगुलर-टाइट-फ्रेम (equiangular-tight-frame) दावों को अमान्य कर देती है।
- टोकन-स्तर वजन क्षय अगले टोकन पूर्वानुमान को एक असंतुलित K-श्रेणी समस्या में कम कर देता है जहाँ श्रेणी नॉर्म प्रकार गणना द्वारा क्रमबद्ध होते हैं।
- वर्ग-अंतर्विखंडन को प्रतिबंधित किया जाता है कि वह सशर्त पारस्परिक जानकारी I(token; context | category) के समानुपाती हो।
- सर्वसमिका विखंडन प्रत्येक परीक्षित मॉडल और विभाजन में इस जानकारी का ट्रैक रखता है, एक मॉडल की जानकारी दूसरे के विखंडन की भविष्यवाणी करती है।
प्राप्ति सुझाव देती है कि श्रेणियों द्वारा वहन की गई जानकारी प्री-ट्रेनिंग के दौरान कभी नहीं जाती, भले ही इसका सापेक्ष हिस्सा ओवरशूट, क्षय और आंशिक रूप से पुनर्प्राप्त हो।