Aleph Alpha ने Kolibri-1 जारी किया है, जो द्विभाषी अंग्रेजी और जर्मन कार्यों के लिए डिज़ाइन किया गया एक ओपन-वेट मिक्स्चर-ऑफ़-एक्सपर्ट्स भाषा मॉडल है। इस मॉडल में कुल 78.1 बिलियन पैरामीटर हैं, लेकिन यह प्रति टोकन केवल 3.46 बिलियन सक्रिय करता है, जिससे इसे एकल B200, B300 या H200 GPU पर चलाया जा सकता है।
- Kolibri स्लाइडिंग-विंडो और फुल-एटेंशन परतों वाले हाइब्रिड एटेंशन आर्किटेक्चर का उपयोग करके 1,048,576 टोकन तक के संदर्भ का समर्थन करता है।
- इसका प्रशिक्षण 24 ट्रिलियन टोकन पर किया गया था, जिसमें 2 ट्रिलियन से अधिक संपादित जर्मन टोकन शामिल थे, इसके बाद सुपरवाइज्ड फाइन-ट्यूनिंग और रीइन्फोर्समेंट लर्निंग का उपयोग किया गया।
- मॉडल अंग्रेजी (75.5) और जर्मन (70.8) बेंचमार्क में अपने प्रतिस्पर्धियों के बीच शीर्ष स्कोर हासिल करता है, जिसमें GPQA Diamond में 84.3 की अग्रता है।
- वजन Hugging Face पर Apache 2.0 लाइसेंस के तहत उपलब्ध हैं, जो सार्वजनिक प्रशासन जैसे विनियमित क्षेत्रों में सॉवरेन डिप्लॉयमेंट के लिए अनुकूलित हैं।
यह रिलीज़ AI Act और GDPR जैसे EU नियमों के अनुरूपता को लक्षित करती है, जिसमें डेटा सॉवरेनिटी और उच्च-प्रदर्शन तर्क की आवश्यकता वाले उद्योगों के लिए एक डिप्लॉय करने योग्य समाधान प्रदान किया जाता है।