O artigo investiga como os componentes da arquitetura do bloco feedforward do Transformer determinam a quantidade de rank que sobrevive ao longo da profundidade na inicialização. Ele reinterpreta as conexões residuais e a normalização como mecanismos para preservar o rank do gradiente, que de outra forma é reduzido por multiplicações de matriz e ativações não lineares.
- As conexões residuais fazem um trade-off entre colapso de rank e comportamento tipo ensemble, controlado pelas escalas relativas do ramo e da conexão residual.
- A colocação da normalização controla a razão entre o ramo e a conexão residual, explicando por que o rank colapsa no Post-Norm mas estabiliza no Pre-Norm.
- A estrutura de duas matrizes expande e contrai a largura para preservar a representação ou o rank do Jacobiano do ramo.
- A segunda matriz decorrelaciona um pico médio coerente que cresceria através dos blocos com uma única matriz.
- A expansão da largura mantém o Jacobiano do ramo de rank completo, seguindo uma lei de Marchenko--Pastur.
O rank de inicialização do Jacobiano entrada-saída prevê quais redes são treinadas no CIFAR-10. Os autores reformulam o design de arquitetura para redes profundas como navegar um trade-off intrínseco entre colapso de rank, comportamento tipo ensemble e contagem de parâmetros.