O artigo investiga como os componentes da arquitetura do bloco feedforward do Transformer determinam a quantidade de rank que sobrevive na profundidade durante a inicialização. Ele reinterpreta conexões skip e normalização como mecanismos para preservar o rank do gradiente, contrariando a redução de rank causada por multiplicações matriciais e ativações não lineares.
- Conexões skip negociam o colapso de rank contra um comportamento similar ao de ensemble, controlado pelas escalas relativas da ramificação e do salto.
- A colocação da normalização controla a relação entre a ramificação e o salto, explicando por que o Post-Norm sofre colapso de rank enquanto o Pre-Norm atinge um platô.
- A estrutura de duas matrizes expande e contrai a largura para preservar a representação ou o rank do Jacobiano da ramificação.
- A segunda matriz decorrelaciona picos médios coerentes, prevenindo o colapso da representação residual.
- A expansão da largura mantém o Jacobiano da ramificação de rank completo, seguindo uma lei de Marchenko--Pastur.
O rank de inicialização do Jacobiano entrada-saída prevê quais redes são treinadas no CIFAR-10. Os autores reformulam o design de arquitetura para redes profundas como navegar um compromisso intrínseco entre colapso de rank, comportamento similar ao de ensemble e contagem de parâmetros.