Джен Вэй столкнулся со спиралью смерти скорости обучения при тестировании AdamW, Muon и последней реализации Dion3 в OLMo-core для предстоящего доклада на конференции PyTorch.

  • Процесс отладки выявил проблемы, связанные с распределенным состоянием оптимизатора и планированием скорости обучения (LR).
  • Была обнаружена конкретная ловушка псевдонимов тензоров PyTorch как ключевая причина нестабильности.
  • Вэй задокументировал весь процесс отладки на Medium, чтобы помочь другим избежать подобных ловушек памяти в распределенных оптимизаторах.