본 기사는 언어 모델 표현 내의 클래스 간 분산이 불완전한 뉴럴 콜랩스가 아니라 특정 법칙에 의해 지배되는 할당된 정보 저장이라고 주장한다. 거시적 카테고리 구조가 표현 분산의 4-12%만 설명하는 반면, 토큰 수준 컨텍스트는 79-91%를 차지하며 이 비율은 100배 파라미터 범위 전반에 걸쳐 안정적이다.

  • 중심화 항등식은 표현 구조에 대한 심플렉스 등각 조밀 프레임 주장을 무효화한다.
  • 토큰 수준의 가중치 감쇠는 카테고리 노름이 유형 수에 따라 순서된 불균형 K-클래스 문제로 다음 토큰 예측을 전환한다.
  • 카테고리 내 분산은 조건부 상호 정보량 I(token; context | category) 에 비례하도록 강제된다.
  • 항등성 분산은 테스트된 모든 모델과 파티션에서 이 정보를 추적하며, 한 모델의 정보가 다른 모델의 분산을 예측한다.

이러한 발견은 카테고리가 운반하는 정보가 사전 학습 중 결코 사라지지 않으며, 그 상대적 비중이 초과하거나 감소하고 부분적으로 회복한다 하더라도 이를 시사한다.