Deutsche Telekom ने जर्मन और अंग्रेजी के लिए अनुकूलित, सार्वजनिक Mixture-of-Experts फाउंडेशन मॉडल Soofi S 30B-A3B जारी किया है। German Industrial AI Cloud पर बनाया गया, यह मॉडल संदर्भ बढ़ने के साथ लगभग स्थिर इनफरेंस कैश को बनाए रखने के लिए प्रति टोकन अपने 30 अरब पैरामीटरों में से केवल 3 अरब सक्रिय करता है।
- जर्मन डेटा को अधिक वजन देकर लगभग 27 ट्रिलियन टोकन पर प्रीट्रेन किया गया।
- अंग्रेजी और जर्मन के एग्रीगेट बेंचमार्क्स पर 14 से 27B घने मॉडलों के बराबर है।
- 17 ओपन बेस मॉडल में दोनों भाषाओं के लिए कोड एग्रीगेट्स में सर्वश्रेष्ठ प्रदर्शन किया।
- उन सभी यूरोपीय सार्वजनिक बेलाइन को पछाड़ता है, जिनमें कहीं अधिक सक्रिय पैरामीटर हैं।
- पूरी तरह से ओपन मॉडल में अंग्रेजी और जर्मन के लिए सर्वोच्च मूल्यांकन स्कोर प्राप्त करता है, जो Olmo 3 32B और Apertus 70B से आगे है।
इस रिलीज में अत्यधिक अनुमतिपूर्ण शर्तों के तहत वजन, इंटरमीडिएट चेकपॉइंट्स, डेटा अकाउंटिंग, हाइपरपैरामीटर और ट्रेनिंग कोड शामिल हैं।