Jen Wei 在为即将到来的 PyTorch 会议演讲测试 AdamW、Muon 以及 OLMo-core 中最新的 Dion3 实现时，遇到了学习率死亡螺旋。

  • 调试过程揭示了涉及分布式优化器状态和学习率（LR）调度的一些问题。
  • 发现了一个特定的 PyTorch 张量别名陷阱是导致不稳定的关键原因。
  • Wei 在 Medium 上记录了完整的调试经历，以帮助他人避免在分布式优化器中遇到类似的内存陷阱。