L'article examine comment les composants de l'architecture du bloc feedforward du Transformer déterminent la quantité de rang qui survit à travers la profondeur lors de l'initialisation. Il réinterprète les connexions sautées et la normalisation comme des mécanismes préservant le rang du gradient, qui est autrement réduit par les multiplications matricielles et les activations non linéaires.
- Les connexions sautées arbitrent entre l'effondrement du rang et un comportement de type ensemble, contrôlé par les échelles relatives de la branche et du saut.
- Le placement de la normalisation contrôle le ratio branche sur saut, expliquant pourquoi le rang s'effondre dans Post-Norm mais plafonne dans Pre-Norm.
- La structure à deux matrices élargit et contracte la largeur pour préserver la représentation ou le rang du Jacobien de la branche.
- La deuxième matrice décorrèle un pic moyen cohérent qui grandirait à travers les blocs avec une seule matrice.
- L'expansion de la largeur maintient le Jacobien de la branche plein rang, suivant une loi de Marchenko--Pastur.
Le rang d'initialisation du Jacobien entrée-sortie prédit quels réseaux s'entraînent sur CIFAR-10. Les auteurs reformulent la conception d'architecture pour les réseaux profonds comme la navigation dans un compromis intrinsèque entre l'effondrement du rang, le comportement de type ensemble et le nombre de paramètres.