O artigo argumenta que a variância intraclasse nas representações de modelos de linguagem não é um colapso neural incompleto, mas sim armazenamento de informação alocado governado por uma lei específica. A análise de 14 modelos mostra que a estrutura de macro-categorias explica apenas 4-12% da variância representacional, enquanto o contexto intra-tokeno carrega 79-91%, permanecendo estável em uma faixa de parâmetros de 100x.
- O decaimento de peso em nível de tokeno penaliza categorias por contagem de tipos em vez de massa de ocorrência, reduzindo a previsão do próximo tokeno para um problema K-classe desequilibrado onde as normas de categoria são ordenadas por contagem de tipos.
- Um piso inverso para categorias binárias força a dispersão intra-categoria a ser pelo menos proporcional à informação mútua condicional I(token; context | category).
- A dispersão de identidade rastreia essa informação em cada modelo e partição testada, com a informação de um modelo prevendo a dispersão de outro sob uma estimativa livre de modelos.
Os autores concluem que a participação da categoria excede, decai e se recupera parcialmente durante o pré-treinamento porque a informação que ela deve carregar nunca sai da representação.