Google ने Gemma 3 का परिचय दिया, जो 1 से 27 अरब पैरामीटर तक की हल्की खुली बहुआयामी मॉडलों की एक नई श्रृंखला है। इस अपडेट में पिछले संस्करणों की तुलना में दृष्टि समझ, कम से कम 128K टोकन के संदर्भ का समर्थन और विस्तृत बहुभाषी कवरेज जोड़ा गया है।
- मॉडल लचीली छवि रिज़ॉल्यूशन के लिए Pan & Scan विधि के साथ एक अनुकूलित SigLIP दृष्टि एन्कोडर का उपयोग करते हैं।
- वास्तुकला में बदलाव में लंबे संदर्भ निष्पादन के दौरान KV-cache मेमोरी उपयोग को कम करने के लिए स्थानीय से वैश्विक ध्यान परतों का 5:1 अंतर्ग्रंथन शामिल है।
- 1B मॉडल 32K संदर्भ का समर्थन करता है, जबकि बड़े मॉडल 128K टोकन का समर्थन करते हैं।
- प्रशिक्षण में Gemini फ्रंटियर मॉडलों से ज्ञान निचोड़ और एक नवीन पोस्ट-प्रशिक्षण विधि का उपयोग किया गया है।
- Gemma3-4B-IT, Gemma2-27B-IT के प्रदर्शन के बराबर है, और Gemma3-27B-IT बेंचमार्क पर Gemini-1.5-Pro के तुलनीय है।
रिलीज में सभी मॉडल प्रकारों को समुदाय के लिए उपलब्ध कराया गया है, जिससे मानक उपभोक्ता-ग्रेड हार्डवेयर पर शक्तिशाली बहुआयामी क्षमताएं संभव हुई हैं।