قام مستخدم بضبط Gemma 4 26B-A4B وGemma 4 12B باستخدام QLoRA لمقارنة الهياكل الكثيفة مقابل Mixture-of-Experts أثناء التدريب. تم إنشاء مجموعة البيانات بواسطة DeepSeek v4 Pro من Natural Questions، بتكلفة 0.36 دولار لـ 1200 طلب.
- استهلكت نموذج 26B ضعف ذاكرة الفيديو (VRAM) الخاصة بنموذج 12B تقريباً (28.6 مقابل 14.3 جيجابايت) لكنه حقق فقدان تدريب أقل بكثير (0.18 مقابل 0.71).
- كان النموذج الكثيف 12B أسرع في الوقت الفعلي (54 مقابل 72 دقيقة) وكان لديه إنتاجية أعلى لكل وحدة معالجة رسوميات (GPU) (345 مقابل 261 توكن/ثانية).
- كانت معيار التدرج لنموذج 12B أكثر ضوضاءً بحوالي 5.4 مرات من نموذج 26B، ولاحظ المستخدم احتمال حدوث فرط في التخصيص (overfitting) في النموذج الأصغر.
يقدم المؤلف نقاط تفتيش GGUF لكلا النموذجين ومجموعة البيانات للسماح بإعادة عملية الضبط الدقيق.