本文研究了Transformer前馈块架构的组件如何决定初始化时在深度方向上幸存的秩的数量。文章将跳跃连接和归一化重新解释为保留梯度秩的机制，否则该秩会因矩阵乘法和非线性激活而减少。
- 跳跃连接在秩坍缩与类集成行为之间进行权衡，由分支和跳跃的相对尺度控制。
- 归一化的放置控制分支与跳跃的比例，解释了为什么秩在Post-Norm中坍缩但在Pre-Norm中趋于平稳。
- 双矩阵结构扩展和收缩宽度以保留表示或分支雅可比秩。
- 第二个矩阵解相关了一个相干均值尖峰，如果使用单个矩阵，该尖峰会随块增长。
- 宽度扩展保持分支雅可比满秩，遵循Marchenko--Pastur定律。
输入输出雅可比矩阵的初始化秩预测了哪些网络能在CIFAR-10上训练。作者将深度网络的架构设计重新定义为在秩坍缩、类集成行为和参数量之间的内在权衡中进行导航。