본 기사는 언어 모델 표현 내의 클래스 간 분산이 불완전한 뉴럴 콜랩스가 아니라 특정 법칙에 의해 지배되는 할당된 정보 저장이라고 주장합니다. 14개 모델 분석 결과, 매크로 카테고리 구조가 표현 분산의 4-12%만 차지하는 반면, 토큰 수준 문맥은 79-91%를 운반하며 100배 파라미터 범위에서 안정적입니다.

  • 토큰 수준의 가중치 감쇠는 발생 질량이 아닌 유형 수에 따라 카테고리를 패널티화하여 다음 토큰 예측을 불균형한 K 클래스 문제로 환원합니다. 이로 인해 카테고리 노름은 유형 수에 의해 순서됩니다.
  • 이항 카테고리에 대한 역수 플로어는 카테고리 내 분산이 조건부 상호 정보량 I(token; context | category) 에 최소한 비례하도록 강제합니다.
  • 아이덴티티 분산은 테스트된 모든 모델과 파티션에서 이 정보를 추적하며, 한 모델의 정보가 다른 모델의 분산을 모델 프리 추정 하에 예측합니다.

저자들은 카테고리 점유율이 사전 훈련 동안 오버슈트하고 감쇠하며 부분적으로 회복하는 것은 그것이 운반해야 할 정보가 표현에서 결코 떠나지 않기 때문이라고 결론짓습니다.