В статье утверждается, что внутриклассовая дисперсия в представлениях языковых моделей представляет собой не неполный нейронный коллапс, а выделенное хранение информации, управляемое определённым законом. Анализ 14 моделей показывает, что структура макро-категорий объясняет лишь 4–12% репрезентативной дисперсии, тогда как контекст внутри токена несёт 79–91%, оставаясь стабильным в диапазоне параметров в 100 раз.
- Сглаживание весов на уровне токенов штрафует категории по количеству типов, а не по массе встречаемости, сводя предсказание следующего токена к несбалансированной задаче K классов, где нормы категорий упорядочены по количеству типов.
- Обратный пол для бинарных категорий требует, чтобы внутрикатегорийная дисперсия была как минимум пропорциональна условной взаимной информации I(token; context | category).
- Дисперсия идентичности отслеживает эту информацию во всех протестированных моделях и разбиениях, при этом информация одной модели предсказывает дисперсию другой при оценке без моделей.
Авторы приходят к выводу, что доля категории превышает норму, затухает и частично восстанавливается в течение предварительного обучения, потому что информация, которую она должна нести, никогда не покидает представление.