В статье утверждается, что внутриклассовая дисперсия представлений языковой модели является не неполным нейронным коллапсом, а распределённым хранением информации, подчиняющимся определённому закону. Показано, что структура макро-категорий объясняет лишь 4–12% репрезентативной дисперсии, тогда как контекст внутри токена обеспечивает 79–91%, причём это соотношение остаётся стабильным в диапазоне параметров 100x.
- Тождество центрирования опровергает утверждения о симплексном эквиканглярно-плотном кадре (equiangular-tight-frame) относительно структуры представлений.
- Регуляризация весов на уровне токена сводит предсказание следующего токена к несбалансированной задаче K классов, где нормы категорий упорядочены по количеству типов.
- Внутрикатегорийная дисперсия вынуждена быть пропорциональной условной взаимной информации I(token; context | category).
- Дисперсия тождества отслеживает эту информацию во всех протестированных моделях и разбиениях, при этом информация одной модели предсказывает дисперсию другой.
Полученные результаты указывают на то, что информация, несомая категориями, никогда не исчезает в процессе предварительного обучения, даже когда её относительная доля превышает норму, уменьшается и частично восстанавливается.