El artículo argumenta que la varianza intraclase en las representaciones de los modelos de lenguaje no es un colapso neural incompleto, sino un almacenamiento de información asignado gobernado por una ley específica. El análisis de 14 modelos muestra que la estructura de macro-categorías explica solo el 4-12% de la varianza representacional, mientras que el contexto intra-token transporta el 79-91%, manteniéndose estable en un rango de parámetros de 100x.
- La decaída de peso a nivel de token penaliza las categorías por conteo de tipos en lugar de masa de ocurrencia, reduciendo la predicción del siguiente token a un problema K-clase desequilibrado donde las normas de categoría están ordenadas por conteo de tipos.
- Un suelo inverso para categorías binarias fuerza que la dispersión intra-categoría sea al menos proporcional a la información mutua condicional I(token; context | category).
- La dispersión de identidad rastrea esta información en cada modelo y partición probada, con la información de un modelo prediciendo la dispersión de otro bajo una estimación libre de modelos.
Los autores concluyen que la participación de categoría excede, decae y se recupera parcialmente durante el preentrenamiento porque la información que debe transportar nunca abandona la representación.