文章认为，语言模型表示中的类内方差并非不完整的神经坍缩，而是由特定规律支配的分配信息存储。研究表明，宏观类别结构仅解释4-12%的表示方差，而标记内上下文承载79-91%，该比率在100倍参数范围内保持稳定。

  • 中心化恒等式否定了关于表示结构的单纯形等角紧框架（equiangular-tight-frame）主张。
  • 标记级权重衰减将下一个标记的预测简化为不平衡的K类问题，其中类别范数按类型数量排序。
  • 类内分散性被迫与条件互信息 I(token; context | category) 成正比。
  • 恒等式分散性在所有测试过的模型和分区中追踪此信息，一个模型的信息可预测另一个模型的分散性。

研究结果表明，即使在预训练过程中其相对份额出现超调、衰减和部分恢复，类别所携带的信息也从未消失。