L'article examine comment les composants de l'architecture du bloc feedforward du Transformer déterminent la quantité de rang qui survit à travers la profondeur lors de l'initialisation. Il réinterprète les connexions sautées et la normalisation comme des mécanismes préservant le rang du gradient, contrebalçant la réduction de rang causée par les multiplications matricielles et les activations non linéaires.
- Les connexions sautées arbitrent entre l'effondrement du rang et un comportement semblable à celui d'un ensemble, contrôlé par les échelles relatives de la branche et du saut.
- Le placement de la normalisation contrôle le rapport branche-sur-saut, expliquant pourquoi Post-Norm subit un effondrement du rang tandis que Pre-Norm atteint un plateau.
- La structure à deux matrices étend et contracte la largeur pour préserver le rang de la représentation ou du Jacobien de la branche.
- La deuxième matrice décorrèle les pics moyens cohérents, empêchant l'effondrement de la représentation résiduelle.
- L'expansion de la largeur maintient le Jacobien de la branche plein rang, suivant une loi de Marchenko--Pastur.
Le rang d'initialisation du Jacobien entrée-sortie prédit quels réseaux s'entraînent sur CIFAR-10. Les auteurs reformulent la conception d'architecture pour les réseaux profonds comme la navigation dans un compromis intrinsèque entre l'effondrement du rang, le comportement semblable à celui d'un ensemble et le nombre de paramètres.