يبلغ المؤلف أن نموذج extGemma4-40_5B، وهو نسخة موسعة من Gemma 4، قد تغلب بنجاح على الفشل السابق في إدراج الطبقات باستخدام استراتيجية تهيئة جديدة. ومن خلال تهيئة الطبقات الجديدة كخليط من جيرانها بدلاً من كونها عمليات لا تفعل شيئاً (no-ops)، يتجنب النموذج تجويع الإشارة ويسمح بتدريب فعال.
- توقف المؤلف عن إدراج الطبقات في مواضع غير مناسبة واحتفظ بإعدادات الحجم لكل طبعة محايدة للحفاظ على سلامة الإشارة.
- حدث التدريب في جولتين: أولاً تجميد النموذج الأصلي لتعليم الطبقات الجديدة فقط، ثم فك التجميد عن كل شيء للتسوية المشتركة.
- تظهر النتائج أن النموذج المصلح يستعيد معظم الأرضية المفقودة من الجراحة، ويقترب من الأصلية على GPQA-Diamond.
- في المقارنات الجانبية عبر 10 مواضيع متنوعة، تعادل النموذج الموسع مع الأب في 9 أسئلة وتفوقه في سؤال فيزياء يتعلق بطول موجة دي برولي.
تُظهر التجربة أن الجراحة الهيكلية الكبرى على نموذج تم ضبطه مسبقاً يمكن أن تشفى بنجاح بدلاً من الانهيار إلى كلام غير مفهوم.