يُعدّ مساهم طلب سحب (pull request) لإضافة الدعم الأصلي لعائلة نماذج Gemma 4 إلى Hugging Face، جنبًا إلى جنب مع تحسينات لتتبع تتبع التصدير بصيغة ONNX. تعالج التغييرات القيود الخاصة بالبنية أثناء تتبع ONNX، وتصحح حسابات الطبقات لمتغيرات النماذج غير المتجانسة، بما في ذلك مزيج الخبراء (MoE) والتكوينات الكثيفة.
- تمت إعادة محاذاة صيغة RMSNorm لاستخدام عملية الضرب القياسية على المقياس بأسلوب Llama لنموذج Gemma 4، مع خاصية بوابة لمنع أخطاء قياس التنشيط.
- تم تحسين توافق تتبع ONNX للانتباه بالاستعلام المجمّع (GQA) وانتباه MoE عن طريق استبدال torch.histc بـ torch.bincount لتمكين تسلسل الرسم البياني تحت ONNX Opset 17.
- تمت إضافة ضمانات تحويل المصفوفات الرمزية لمنع فشل التجميع الفوري (JIT) عند معالجة المصفوفات القياسية الرمزية أثناء تتبع التصدير الديناميكي.
- يمنع توحيد الشرائح الواعي للتخزين أنماط تجزئة الملفات المرضية في تكوينات MoE من خلال توحيد تخزين المعلمات المشتركة في مخازن ثنائية متصلة بحجم 1GB.
- تم تنفيذ حل سمات المكوّن (tokenizer) بشكل قوي عبر البحث في تسلسل الفئات MRO لمنع استثناءات AttributeError في فئات فرعية مخصصة للمكوّن.
تم التحقق من الحزمة المحدثة محليًا، حيث تم تحميل وهيكلة بنية النماذج الأساسية بشكل صحيح. وتم تأكيد التوافق العكسي بنجاح 157 حالة اختبار (و 1,157 اختبار فرعي) من مجموعة اختبارات نمذجة PyTorch الخاصة بـ gemma2.