本記事は、言語モデルの表現におけるクラス内分散が不完全なニューラルコラプスではなく、特定の法則によって支配される割り当てられた情報記憶であると主張している。マクロカテゴリ構造が表現分散の4-12%しか説明しないのに対し、トークンレベルのコンテキストは79-91%を占め、この比率は100倍のパラメータ範囲にわたって安定している。

  • 中心化の恒等性は、表現構造に関する単体正角緊密フレームの主張を無効化する。
  • トークンレベルの重み減衰は、次トークン予測をカテゴリのノルムがタイプ数によって順序付けられた不均衡なKクラス問題に変える。
  • カテゴリ内分散は、条件付き相互情報量 I(token; context | category) に比例するように強制される。
  • 恒等性分散は、テストされたすべてのモデルと分割でこの情報を追跡し、あるモデルの情報が別のモデルの分散を予測する。

これらの知見は、カテゴリが運ぶ情報が事前学習中決して失われることなく、その相対的なシェアが過剰に達したり、減衰したり、部分的に回復したりすることさえ示唆している。