本記事は、言語モデルの表現におけるクラス内分散が不完全なニューラルコラプスではなく、特定の法則によって支配される割り当てられた情報保存であると主張している。14つのモデルの分析により、マクロカテゴリ構造が表現分散のわずか4-12%しか占めていないことが示され、一方、トークンレベルの文脈は79-12%を運び、100倍のパラメータ範囲にわたって安定している。

  • トークンレベルの重み減衰は、発生質量ではなくタイプ数によってカテゴリをペナルティ化し、次トークン予測を不均衡なKクラス問題へと還元する。これにより、カテゴリノルムはタイプ数によって順序付けられる。
  • 二値カテゴリに対する逆数のフロアは、カテゴリ内分散が条件付き相互情報量 I(token; context | category) に少なくとも比例することを強制する。
  • アイデンティティ分散は、テストされたすべてのモデルと分割においてこの情報を追跡し、あるモデルの情報が別のモデルの分散をモデルフリー推定下で予測する。

著者らは、カテゴリシェアが事前トレーニング中にオーバーシュートし、減衰し、部分的に回復するのは、それが運ばなければならない情報が表現から決して離れないためであると結論づけている。