研究人员调查了预训练的 GPT-2 风格模型中反复出现的谱模式是否可以作为新预训练运行的初始化信号。该研究分析了十一个检查点，以测量跨层和 Transformer 子组件的弗罗贝尼乌斯范数和有效秩熵。
- 检查点表现出共享的深度趋势，包括残差写入矩阵中规模的增加和更强的谱集中。
- 构建了初始化方案以模仿预训练模型的组件级幅度和谱轮廓。
- 评估结果显示，与标准权重初始化方法相比，这些初始化器没有性能优势。
- 预训练权重的重用仍然具有竞争力，而粗略的谱匹配被证明作为优化策略是不可靠的。
研究结果表明，虽然预训练谱是模型结构的有用诊断工具，但有效的重用需要保留比组件级规模和奇异值形状更丰富的信息。