文章认为，语言模型表示中的类内方差并非不完整的神经崩溃，而是由特定定律支配的分配信息存储。对14个模型的分析显示，宏类别结构仅占表示方差的4-12%，而词元内上下文承载了79-91%，在100倍参数范围内保持稳定。

  • 词元级权重衰减按类型数量而非出现质量惩罚类别，将下一个词元的预测简化为不平衡的K类问题，其中类别范数按类型数量排序。
  • 二元类别的反向下限强制类内离散度至少与条件互信息 I(token; context | category) 成正比。
  • 身份离散度在所有测试过的模型和分区中追踪此信息，在一个模型的自由估计下，一个模型的信息可以预测另一个模型的离散度。

作者得出结论，类别份额在预训练期间超出、衰减并部分恢复，因为它必须携带的信息从未离开表示。