लेख का तर्क है कि भाषा मॉडल निरूपणों में वर्ग-अंदर भिन्नता अधूरी न्यूरल कॉलाप्स नहीं बल्कि एक विशिष्ट नियम द्वारा शासित आवंटित जानकारी संग्रह है। 14 मॉडलों का विश्लेषण दिखाता है कि मैक्रो-श्रेणी संरचना केवल निरूपणात्मक भिन्नता का 4-12% खाता है, जबकि टोकन-अंदर संदर्भ 79-91% ले जाता है, जो 100x पैरामीटर श्रृंखला में स्थिर रहता है।
- टोकन-स्तर वजन क्षय श्रेणियों को घटना द्रव्यमान के बजाय प्रकार गणना द्वारा दंडित करता है, अगले टोकन भविष्यवाणी को एक असंतुलित K-श्रेणी समस्या में कम कर देता है जहाँ श्रेणी नॉर्म प्रकार गणना द्वारा क्रमित होते हैं।
- द्विआधारी श्रेणियों के लिए एक विपरीत तल अंदर-श्रेणी प्रकीर्णन को न्यूनतम प्रतिबंधित करता है कि वह सशर्त पारस्परिक जानकारी I(token; context | category) के समानुपाती हो।
- पहचान प्रकीर्णन परीक्षण किए गए हर मॉडल और विभाजन में इस जानकारी को ट्रैक करता है, एक मॉडल-मुक्त अनुमान के तहत एक मॉडल की जानकारी दूसरे के प्रकीर्णन की भविष्यवाणी करती है।
लेखक निष्कर्ष निकालते हैं कि पूर्व-प्रशिक्षण के दौरान श्रेणी हिस्सा अधिक हो जाता है, क्षय होता है और आंशिक रूप से पुनर्प्राप्त होता है क्योंकि उसे ले जाना पड़ने वाली जानकारी कभी निरूपण से बाहर नहीं जाती।