Jen Wei는 다가오는 PyTorch Conference 발표를 위해 OLMo-core 내에서 AdamW, Muon 및 최신 Dion3 구현을 테스트하는 동안 학습률 데스 스피럴에 직면했습니다.
- 디버깅 과정에서 분산 최적화기 상태 및 LR 스케줄링과 관련된 문제가 드러났습니다.
- 불안정성의 주요 원인으로 특정 PyTorch 텐서 별칭 함정이 식별되었습니다.
- Wei는 다른 사람들이 분산 최적화기에서 유사한 메모리 함정을 피할 수 있도록 전체 디버깅 모험을 Medium에 기록했습니다.