El artículo investiga cómo los componentes de la arquitectura del bloque de alimentación directa del Transformer determinan la cantidad de rango que sobrevive en toda la profundidad durante la inicialización. Reinterpreta las conexiones residuales y la normalización como mecanismos para preservar el rango del gradiente, que de otro modo se reduce por las multiplicaciones de matrices y las activaciones no lineales.
- Las conexiones residuales compensan el colapso del rango frente a un comportamiento similar al de un conjunto, controlado por las escalas relativas de la rama y la conexión residual.
- La colocación de la normalización controla la relación entre la rama y la conexión residual, explicando por qué el rango colapsa en Post-Norm pero se estabiliza en Pre-Norm.
- La estructura de dos matrices expande y contrae el ancho para preservar la representación o el rango del Jacobiano de la rama.
- La segunda matriz decorrelaciona un pico medio coherente que crecería a través de los bloques con una sola matriz.
- La expansión del ancho mantiene el Jacobiano de la rama de rango completo, siguiendo una ley de Marchenko--Pastur.
El rango de inicialización del Jacobiano entrada-salida predice qué redes se entrenan en CIFAR-10. Los autores reformulan el diseño de arquitectura para redes profundas como navegar un compromiso intrínseco entre colapso del rango, comportamiento similar al de un conjunto y conteo de parámetros.