本文研究了Transformer前馈块架构的组件如何确定初始化时跨深度的幸存秩量。它将跳跃连接和归一化重新解释为保持梯度秩的机制，以对抗由矩阵乘法和非线性激活引起的秩减少。
- 跳跃连接在秩坍缩与类集成行为之间进行权衡，由分支和跳跃的相对尺度控制。
- 归一化的放置控制分支到跳跃的比例，解释了为什么Post-Norm遭受秩坍缩而Pre-Norm趋于平稳。
- 双矩阵结构扩展和收缩宽度以保持表示或分支雅可比秩。
- 第二个矩阵去相关了相干均值尖峰，防止残差表示坍缩。
- 宽度扩展保持分支雅可比满秩，遵循Marchenko--Pastur定律。
输入输出雅可比的初始化秩预测了哪些网络在CIFAR-10上训练。作者将深度网络的架构设计重新定义为在秩坍缩、类集成行为和参数量之间的内在权衡中导航。