对三个家族中17个模型的研究表明，对齐的语言模型经常在中层（25-90%深度）暂时坚持错误答案，然后由后期层机制进行纠正。这种“错误低谷”通过激活移植得到因果验证，并根据对齐配方和模型规模显著变化。

  • 因果错误低谷放大是配方特定的，在Qwen2.5的32B处达到峰值，并在Llama-3-8B中反转。
  • 高低谷项目在后期层低秩压缩或剪枝下失败的可能性高出3-7倍，同时对量化保持鲁棒性。
  • 具有中层错误边距惩罚的LoRA微调将因果低谷减少了67-70%，而没有牺牲准确性。
  • 仅输出SFT即使在完美表面准确性下也会使因果低谷恶化多达2.8倍。
  • 该现象在自然语言I/O中持续存在，将脆弱性分离为可审计的低谷后期救援层和低谷盲接口层。

作者得出结论，输出级别的正确性可能隐藏了一个控制压缩风险、训练后质量和评估扭曲的后期救援过程。