L'article soutient que la variance intra-classe dans les représentations des modèles linguistiques n'est pas un effondrement neuronal incomplet, mais plutôt un stockage d'information alloué régi par une loi spécifique. Il démontre que la structure de macro-catégorie ne rend compte que de 4 à 12 % de la variance représentationnelle, tandis que le contexte au niveau du token porte 79 à 91 %, un ratio stable sur une plage de paramètres de 100x.
- Une identité de centrage invalide les affirmations selon lesquelles la structure de représentation est un cadre serré équiangulaire simplexe.
- La décroissance pondérale au niveau du token réduit la prédiction du prochain token à un problème K-classe déséquilibré où les normes de catégorie sont ordonnées par le nombre de types.
- La dispersion intra-catégorie est contrainte d'être proportionnelle à l'information mutuelle conditionnelle I(token; context | category).
- La dispersion d'identité suit cette information dans chaque modèle et partition testés, avec l'information d'un modèle prédisant la dispersion d'un autre.
Les résultats suggèrent que l'information portée par les catégories ne disparaît jamais pendant le préapprentissage, même lorsque sa part relative dépasse, diminue et se rétablit partiellement.