واجه جين وي دوامة موت معدل التعلم أثناء اختبار AdamW و Muon وأحدث تنفيذ لـ Dion3 داخل OLMo-core لمحاضرة قادمة في مؤتمر PyTorch.

  • كشفت عملية التصحيح عن مشاكل تتعلق بحالة المُحسِّن الموزع وجدولة معدل التعلم (LR).
  • تم تحديد فخّ تشابه أسماء موتر PyTorch محدد كسبب رئيسي لعدم الاستقرار.
  • وثّق وي مغامرة التصحيح الكاملة على Medium لمساعدة الآخرين على تجنب فخاخ الذاكرة المشابهة في المُحسِّنين الموزعين.