El artículo argumenta que la varianza intraclase en las representaciones de modelos lingüísticos no es un colapso neural incompleto, sino almacenamiento de información asignado gobernado por una ley específica. Demuestra que la estructura de macro-categorías explica solo el 4-12% de la varianza representacional, mientras que el contexto intra-token transporta el 79-91%, una proporción estable a través de un rango de parámetros de 100x.
- Una identidad de centrado invalida las afirmaciones de marco equiangularmente ajustado (equiangular-tight-frame) simplejo respecto a la estructura de representación.
- La decaída de pesos a nivel de token reduce la predicción del siguiente token a un problema desequilibrado de K-clases donde las normas de categoría están ordenadas por el recuento de tipos.
- La dispersión intra-categoría se ve obligada a ser proporcional a la información mutua condicional I(token; context | category).
- La dispersión de identidad rastrea esta información en cada modelo y partición probada, con la información de un modelo prediciendo la dispersión de otro.
Los hallazgos sugieren que la información transportada por las categorías nunca se pierde durante el preentrenamiento, incluso cuando su participación relativa supera los límites, decae y se recupera parcialmente.