يجادل المقال بأن التباين داخل الفئة في تمثيلات نماذج اللغة ليس انهياراً عصبيًا غير مكتمل، بل هو تخزين معلومات مُخصص يخضع لقانون معين. يُظهر تحليل 14 نموذجًا أن بنية الفئة الكبرى تمثل فقط 4-12% من التباين التمثيلي، بينما يحمل سياق مستوى الرمز 79-91%، ويبقى مستقرًا عبر نطاق معلمات يبلغ 100x.
- يؤدي تدهور الأوزان على مستوى الرمز إلى عقاب الفئات بناءً على عدد الأنواع بدلاً من كتلة الحدوث، مما يقلل التنبؤ بالرمز التالي إلى مشكلة K-class غير المتوازنة حيث تُرتب معايير الفئة حسب عدد الأنواع.
- يفرض أرضية عكسية للفئات الثنائية أن يكون التشتت داخل الفئة على الأقل متناسبًا مع المعلومات المتبادلة الشرطية I(token; context | category).
- يتتبع تشتت الهوية هذه المعلومات عبر كل نموذج ومقسّم تم اختباره، حيث تتنبأ معلومات أحد نماذج بتشتت آخر تحت تقدير خالٍ من النماذج.
يخلص المؤلفون إلى أن حصة الفئة تتجاوز، وتضعف، وتتعافى جزئيًا أثناء التدريب المسبق لأن المعلومات التي يجب حملها لا تغادر التمثيل أبدًا.