أضاف مساهم دعمًا أصليًا لـ `nemotron_h_puzzle` إلى mlx-lm عبر طلب السحب #1535، مما مكن من تشغيل نموذج Nemotron Puzzle 75B على جهاز M2 Max بسعة 64 جيجابايت. تضمنت العملية إصلاح دعم تكوين الكتل، وإعادة تعيين الأوزان (tensor remapping)، ومطابقة سلوك المعيار/الموجّه FP32 الخاص بـ NVIDIA.
- يستخدم التكميم الخبيرى بعمق 4 بت (مع طبقات كثيفة بعمق 6 بت ورأس إخراج BF16) حجم نقطة تفتيش مقدارها 42.03 جيبايت ويصل إلى ذروة استخدام ذاكرة قدرها 49.68 جيجابايت.
- يحقق التكوين بعمق 4 بت سرعة توليد متوسطة تبلغ 14.27 توكة/ثانية، مقارنة بـ 10.53 توكة/ثانية للنسخة بعمق 5 بت.
- حصلت الفحوصات المحلية للمهام على درجة 24 من 30 للنسخة بعمق 4 بت مقابل 21 من 30 للنسخة بعمق 5 بت، بينما كانت استرجاع السياق الطويل 4 من 5 مقابل 0 من 5.
- تم حل خطأ كان يسبب اختلافات في إخراج SSM للطبقة الأولى عن طريق مطابقة حد الترقية من BF16 إلى FP32 الخاص بـ NVIDIA، مما حسّن التشابه جيبوسي (cosine similarity) ليصل إلى 0.999998.
- يُعد رأس الإخراج BF16 إلزاميًا؛ حيث أدى تكميم رأس النموذج اللغوي (lm_head) ذي المفردات المكونة من 131 ألف كلمة بعمق 4 بت إلى إنتاج نصوص متكررة وغير مفهومة.
يلاحظ المؤلف أن نقطة التفتيش بعمق 5 بت تعمل بالقرب من الحد الأقصى لسعة الذاكرة البالغة 64 جيجابايت، مما يشير إلى أن التكوينات ذات الذاكرة الأعلى قد تنتج نتائج مختلفة.