Deutsche Telekom ने Soofi S 30B-A3B जारी किया है, जो जर्मन और अंग्रेजी के लिए डिज़ाइन किया गया एक सार्वभौमिक, ओपन-सोर्स मिक्स्चर-ऑफ़-एक्सपर्ट्स (MoE) हाइब्रिड Mamba Transformer फाउंडेशन मॉडल है। मॉडल को German Industrial AI Cloud पर एंड-टू-एंड बनाया गया था।
- यह टोकन के प्रति 30B पैरामीटर में से केवल 3B को सक्रिय करता है, जबकि संदर्भ बढ़ने के साथ इनफरेंस कैश को लगभग स्थिर रखता है, जिससे डेन मॉडल्स की तुलना में थ्रूपुट का लाभ मिलता है।
- लगभग 27 ट्रिलियन टोकन पर प्रीट्रेन किया गया, जिसमें जर्मन डेटा को अधिक वजन दिया गया था, यह एग्रीगेट बेंचमार्क्स पर 14 से 27B पैरामीटर वाले डेन मॉडल्स के बराबर है।
- Soofi S दोनों भाषाओं में कोड एग्रीगेट्स में 17 ओपन बेस मॉडल्स के बीच सर्वश्रेष्ठ प्रदर्शन करता है और सभी यूरोपीय सार्वभौमिक बेलाइन से बेहतर है।
- यह पूरी तरह से ओपन मॉडल्स में अंग्रेजी और जर्मन मूल्यांकन स्कोर में सबसे ऊपर है, जो Olmo 3 32B और Apertus 70B से आगे है।
रिलीज में वजन, चयनित इंटरमीडिएट चेकपॉइंट्स, पूर्ण प्रति-स्रोत डेटा अकाउंटिंग, हाइपरपैरामीटर्स और उदार अनुमतियों के तहत प्रशिक्षण और मूल्यांकन कोड शामिल हैं।