Jen Wei は、今後の PyTorch Conference の講演に向けて OLMo-core 内で AdamW、Muon、および最新の Dion3 実装をテストしている際に、学習率のデススパイラルに遭遇しました。
- デバッグプロセスにより、分散オプティマイザーの状態と LR スケジューリングに関連する問題が明らかになりました。
- 不安定性の主要な原因として、特定の PyTorch テンソルエイリアシングの罠が特定されました。
- Wei は、分散オプティマイザーでの同様のメモリトラップを他の人が避けるよう支援するため、デバッグの全過程を Medium に記録しました。