Статья исследует, как компоненты архитектуры блока прямой передачи трансформера определяют количество ранга, сохраняющегося на глубине при инициализации. Она переосмысливает skip-соединения и нормализацию как механизмы сохранения ранга градиента, противодействуя снижению ранга, вызванному матричными умножениями и нелинейными активациями.
- Skip-соединения компромиссно балансируют между коллапсом ранга и ансамблеподобным поведением, контролируемым относительными масштабами ветви и skip-пути.
- Размещение нормализации контролирует отношение ветви к skip-пути, объясняя, почему Post-Norm страдает от коллапса ранга, а Pre-Norm выходит на плато.
- Двухматричная структура расширяет и сужает ширину для сохранения представления или ранга якобиана ветви.
- Вторая матрица декоррелирует когерентные средние пики, предотвращая коллапс остаточного представления.
- Расширение ширины сохраняет якобиан ветви полного ранга, следуя закону Марченко–Пастура.
Ранг инициализации якобиана вход-выход предсказывает, какие сети обучаются на CIFAR-10. Авторы переформулируют проектирование архитектуры для глубоких сетей как навигацию по внутреннему компромиссу между коллапсом ранга, ансамблеподобным поведением и количеством параметров.