В статье исследуется, как компоненты архитектуры блока прямой передачи трансформера определяют количество ранга, сохраняющегося на всех слоях при инициализации. В работе переосмысливаются остаточные связи (skip connections) и нормализация как механизмы сохранения ранга градиента, который в противном случае снижается из-за матричных умножений и нелинейных активаций.
- Остаточные связи обеспечивают компромисс между коллапсом ранга и ансамблевым поведением, контролируемый относительными масштабами ветви и остаточной связи.
- Размещение нормализации управляет отношением ветви к остаточной связи, объясняя, почему ранг коллапсирует в Post-Norm, но выходит на плато в Pre-Norm.
- Двухматричная структура расширяет и сужает ширину для сохранения представления или ранга Якоби ветви.
- Вторая матрица декоррелирует согласованный средний всплеск, который бы рос по слоям при использовании одной матрицы.
- Расширение ширины поддерживает полный ранг Якоби ветви в соответствии с законом Марченко — Пастура.
Ранг инициализации входо-выходного Якоби предсказывает, какие сети обучаются на CIFAR-10. Авторы переформулируют проектирование архитектуры глубоких сетей как навигацию по внутреннему компромиссу между коллапсом ранга, ансамблевым поведением и количеством параметров.