O artigo argumenta que a variância intraclasse nas representações de modelos linguísticos não é um colapso neural incompleto, mas sim armazenamento de informação alocado governado por uma lei específica. Demonstra que a estrutura de macro-categorias explica apenas 4-12% da variância representacional, enquanto o contexto intra-token carrega 79-91%, uma proporção estável através de uma faixa de parâmetros de 100x.

  • Uma identidade de centralização invalida as afirmações sobre estrutura de representação como um quadro equiangularmente ajustado (equiangular-tight-frame) simplexo.
  • A decaimento de pesos em nível de token reduz a previsão do próximo token para um problema desequilibrado de K classes, onde as normas de categoria são ordenadas pela contagem de tipos.
  • A dispersão intra-categoria é forçada a ser proporcional à informação mútua condicional I(token; context | category).
  • A dispersão de identidade rastreia essa informação em todos os modelos e partições testados, com a informação de um modelo prevendo a dispersão de outro.

As descobertas sugerem que a informação carregada pelas categorias nunca se perde durante o pré-treinamento, mesmo quando sua participação relativa ultrapassa, decai e se recupera parcialmente.