एक Reddit उपयोगकर्ता ने Google Gemma 4 31B मॉडल का विस्तार किया, जिसमें 60 परतें हैं, 88 परतों वाले बड़े 44B पैरामीटर संस्करण में। यह संशोधन इसलिए किया गया क्योंकि Google ने Lyzr Architect पर उपयोग के लिए मॉडल का कोई बड़ा घन संस्करण जारी नहीं किया है।
- विस्तार ने LLaMA Pro से प्रेरित Gemma-विशिष्ट स्केलिंग रणनीति का उपयोग करके परतों की गिनती को 60 से बढ़ाकर 88 कर दिया।
- नई परतों को बेस मॉडल के ज्ञान और प्रशिक्षण के दौरान सीखे गए संरचनात्मक पैटर्न का उपयोग करके इनिशियलाइज़ किया गया था।
- शुरुआती परिणाम बताते हैं कि विस्तारित मॉडल मूल पहचान को बनाए रखता है और अतिरिक्त क्षमता प्राप्त करता है।
लेखक ने नोट किया है कि संदर्भ जमा होने पर मॉडल कैसे व्यवहार करता है, यह देखने के लिए further परीक्षण की आवश्यकता है।