लेखक रिपोर्ट करते हैं कि extGemma4-40_5B मॉडल, जो Gemma 4 का एक विस्तृत संस्करण है, नए इनिशियलाइजेशन रणनीति का उपयोग करके परत इंसेर्शन में पिछली असफलताओं को सफलतापूर्वक पार कर गया है। नई परतों को उनके पड़ोसियों के मिश्रण के रूप में no-ops के बजाय इनिशियलाइज करके, मॉडल सिग्नल भूख को रोकता है और प्रभावी प्रशिक्षण की अनुमति देता है।
- लेखक ने असुविधाजनक स्थानों पर परतें इंसेर्ट करना बंद कर दिया और सिग्नल अखंडता को बनाए रखने के लिए प्रति-परत वॉल्यूम सेटिंग्स को तटस्थ रखा।
- प्रशिक्षण दो चरणों में हुआ: पहले मूल मॉडल को फ्रीज करके केवल नई परतों को सिखाना, फिर सबको अनफ्रीज करके संयुक्त सेटलमेंट।
- बेंचमार्क दिखाते हैं कि ठीक किया गया मॉडल सर्जरी से खोए गए अधिकांश जमीन को पुनः प्राप्त करता है, GPQA-Diamond पर मूल के करीब पहुंचता है।
- 10 विविध विषयों पर साइड-बाय-साइड तुलनाओं में, विस्तारित मॉडल ने 9 प्रश्नों में पैरेंट के साथ टाई किया और डी ब्रोग्ली तरंगदैर्ध्य से जुड़े एक भौतिकी प्रश्न में इसे पार कर गया।
यह प्रयोग दिखाता है कि पहले से ही फाइन-ट्यूंड मॉडल पर बड़ी संरचनात्मक सर्ज सफलतापूर्वक ठीक हो सकती है, बजाय गिबेरिश में ढहने के।