El artículo investiga cómo los componentes de la arquitectura del bloque feedforward del Transformer determinan la cantidad de rango que sobrevive en la profundidad durante la inicialización. Reinterpreta las conexiones skip y la normalización como mecanismos para preservar el rango del gradiente, contrarrestando la reducción de rango causada por multiplicaciones matriciales y activaciones no lineales.
- Las conexiones skip compensan el colapso del rango frente a un comportamiento similar al de un ensemble, controlado por las escalas relativas de la rama y el salto.
- La colocación de la normalización controla la relación entre la rama y el salto, explicando por qué Post-Norm sufre colapso de rango mientras que Pre-Norm se estabiliza.
- La estructura de dos matrices expande y contrae el ancho para preservar la representación o el rango del Jacobiano de la rama.
- La segunda matriz decorrelaciona los picos coherentes de la media, previniendo el colapso de la representación residual.
- La expansión del ancho mantiene el Jacobiano de la rama de rango completo, siguiendo una ley de Marchenko--Pastur.
El rango de inicialización del Jacobiano entrada-salida predice qué redes se entrenan en CIFAR-10. Los autores reformulan el diseño de arquitectura para redes profundas como navegar un compromiso intrínseco entre colapso de rango, comportamiento similar al de un ensemble y conteo de parámetros.