L'article soutient que la variance intra-classe dans les représentations des modèles de langage n'est pas un effondrement neuronal incomplet, mais plutôt un stockage d'information alloué régi par une loi spécifique. L'analyse de 14 modèles montre que la structure macro-catégorielle ne représente que 4-12 % de la variance représentationnelle, tandis que le contexte au niveau du token transporte 79-91 %, restant stable sur une plage de paramètres de 100x.
- La décroissance pondérale au niveau du token pénalise les catégories par le nombre de types plutôt que par la masse d'occurrence, réduisant la prédiction du prochain token à un problème K-class déséquilibré où les normes catégorielles sont ordonnées par le nombre de types.
- Un plancher réciproque pour les catégories binaires force la dispersion intra-catégorielle à être au moins proportionnelle à l'information mutuelle conditionnelle I(token ; context | category).
- La dispersion d'identité suit cette information à travers chaque modèle testé et partition, avec l'information d'un modèle prédisant la dispersion d'un autre sous une estimation sans modèle.
Les auteurs concluent que le partage de catégorie dépasse, décroît et se récupère partiellement pendant le pré-entraînement parce que l'information qu'il doit transporter ne quitte jamais la représentation.