Deutsche Telekom ने Soofi S 30B-A3B जारी किया है, जो जर्मन और अंग्रेजी के लिए डिज़ाइन किया गया एक सार्वभौमिक, ओपन-सोर्स Mixture-of-Experts हाइब्रिड Mamba Transformer फाउंडेशन मॉडल है। German Industrial AI Cloud पर एंड-टू-एंड बनाया गया, संदर्भ बढ़ने के साथ लगभग स्थिर इनफरेंस कैश बनाए रखने के लिए मॉडल प्रति टोकन अपने 30 अरब पैरामीटरों में से केवल 3 अरब को सक्रिय करता है।
- लगभग 27 ट्रिलियन टोकन पर प्रीट्रेन किया गया, जिसमें जर्मन डेटा को अधिक वजन दिया गया है, Soofi S समग्र अंग्रेजी और जर्मन बेंचमार्क्स पर 14 से 27B घने मॉडलों के बराबर है।
- यह 17 ओपन बेस मॉडल में दोनों भाषाओं के लिए कोड एग्रीगेट्स में सर्वश्रेष्ठ प्रदर्शन करता है और तुलनाओं में हर यूरोपीय सार्वभौमिक बेलाइन से बेहतर है।
- पूरी तरह ओपन मॉडल के बीच, यह अंग्रेजी और जर्मन मूल्यांकन स्कोर में सबसे उच्च प्राप्त करता है, Olmo 3 32B और Apertus 70B से आगे।
- रिलीज़ में वजन, चयनित इंटरमीडिएट चेकपॉइंट्स, पूर्ण प्रति-स्रोत डेटा अकाउंटिंग, हाइपरपैरामीटर्स और अत्यधिक अनुमतिदायक शर्तों के तहत प्रशिक्षण और मूल्यांकन कोड शामिल हैं।
मॉडल लंबे संदर्भ और उच्च-सहकारिता डिप्लॉयमेंट के लिए घने मॉडलों की तुलना में निर्णायक थ्रूपुट लाभ प्रदान करता है, जबकि ओपन-एक्सेस डेटा कंस्ट्रक्शन आर्टिफैक्ट्स के माध्यम से व्यापक पारदर्शिता प्रदान करता है।