قام مستخدم على Reddit بتوسيع نموذج Google Gemma 4 31B، الذي يحتوي على 60 طبقة، إلى إصدار أكبر بـ 44 مليار معلمة يتضمن 88 طبقة. تم إجراء هذا التعديل لأن Google لم تطلق إصدارًا كثيفًا أكبر من النموذج للاستخدام على Lyzr Architect.
- تزيد التوسعة عدد الطبقات من 60 إلى 88 باستخدام استراتيجية قياس خاصة بـ Gemma مستوحاة من LLaMA Pro.
- تم تهيئة الطبقات الجديدة باستخدام معرفة من النموذج الأساسي والأنماط الهيكلية التي تم تعلمها أثناء التدريب.
- تشير النتائج الأولية إلى أن النموذج الموسع يحتفظ بهويته الأصلية مع اكتساب سعة إضافية.
يلاحظ المؤلف أنه يلزم إجراء مزيد من الاختبارات لملاحظة كيفية تصرف النموذج عندما تتراكم السياقات.