एक योगदानकर्ता Hugging Face में Gemma 4 मॉडल परिवार के लिए अपस्ट्रीम समर्थन जोड़ने के लिए एक पुल अनुरोध तैयार कर रहे हैं, साथ ही ONNX निर्याट ट्रेसिंग के लिए अनुकूलन भी। ये बदलाव ONNX ट्रेसिंग के दौरान आर्किटेक्चर-विशिष्ट सीमाओं को दूर करते हैं और मिक्सचर ऑफ एक्सपर्ट्स (MoE) और डेन्स कॉन्फ़िगरेशन सहित विषम मॉडल वेरिएंट्स के लिए परत गणनाओं को ठीक करते हैं।
- RMSNorm सूत्र को Gemma 4 के लिए मानक Llama-शैली स्केल-गुणा का उपयोग करने के लिए पुनः संरेखित किया गया है, जिसमें सक्रियण स्केलिंग त्रुटियों को रोकने के लिए एक गेटेड गुण है।
- ग्रूप्ड क्वेरी एटेंशन (GQA) और MoE एटेंशन के लिए ONNX ट्रेसिंग संगतता को torch.histc को torch.bincount से बदलकर बढ़ाया गया है, जिससे ONNX Opset 17 के तहत ग्राफ़ सरलीकरण संभव हो पाता है।
- गतिशील निर्याट ट्रेसिंग के दौरान प्रतीकात्मक स्केलर टेन्सरों को प्रसंस्करण करते समय JIT कंपाइलेशन विफलताओं को रोकने के लिए प्रतीकात्मक टेन्सर कास्टिंग सुरक्षा कवच जोड़े गए हैं।
- स्टोरेज-अवेयर शार्ड संघनन MoE कॉन्फ़िगरेशन में पथोलॉजिकल फ़ाइल-शार्डिंग पैटर्न को रोकता है, साझा पैरामीटर स्टोरेज को सतत 1GB बाइनरी बफर्स में संघित करके।
- कस्टम टोकनाइज़र सबक्लासों में AttributeError अपवादों को रोकने के लिए MRO क्लास-हेयरार्की लुकअप के माध्यम से मजबूत टोकनाइज़र विशेषता रिज़ोल्यूशन लागू किया गया है।
अपडेटेड पैकेज का स्थानीय रूप से परीक्षण किया गया है, जिसमें कोर मॉडल आर्किटेक्चर्स सही ढंग से लोड और कंपाइल हो रहे हैं। gemma2 PyTorch मॉडलिंग टेस्ट सूट से 157 टेस्ट केस (और 1,157 सबटेस्ट) पास करके बैकवर्ड्स-कंपैटिबिलिटी की पुष्टि की गई है।