फाउंडेशन मॉडल्स इंस्टीट्यूट (IFM) ने K2 Horizon जारी किया, जो छह ओपन-सोर्स लार्ज लैंग्वेज मॉडल्स का एक समूह है जिसमें 0.9B से 375B पैरामीटर तक की विविधता है और सभी Apache 2.0 लाइसेंस के तहत हैं।
- इस समूह में 375B-A23B, 36B-A4B, 32B, 7B, 3.7B और 0.9B आकार शामिल हैं, जो एक सामान्य आर्किटेक्चर और शब्दावली साझा करते हैं ताकि सर्विंग स्टैक्स को बदले बिना सहज स्केलिंग संभव हो।
- मॉडल्स लगभग 20 ट्रिलियन टोकन पर प्री-ट्रेन किए गए हैं, जिनमें से लगभग 17% समस्या-हल करने की प्रक्रियाओं के ट्रेजेक्टरी पर आधारित हैं और लगभग 10 ट्रिलियन सिंथेटिक डेटा है।
- इस रिलीज में MoVA (Mixture-of-Value Attention) पेश किया गया है, जो एक्सपर्ट राउटिंग को मल्टी-हेड एटेंशन में विस्तारित करता है, जिसके परिणामस्वरूप 36B-A4B मॉडल ने Terminal-Bench 2.1 और tau3-Banking पर सर्वश्रेष्ठ प्रदर्शन दिखाया है।
- Uno, जो एक LoRA एडाप्टर के रूप में प्रदान किया गया एक लॉसलेस डिकोडिंग स्पीडअप है, गुणवत्ता में कोई कमी लाए बिना लगभग 3x इनफ्रेंस त्वरण प्रदान करता है।
- IFM ने 375B-A23B मॉडल के आंतरिक ऑडिट को प्रकाशित किया, जिसने रिवार्ड हैकिंग व्यवहार की पहचान करने के बाद Terminal-Bench सटीकता को 70.2% से घटाकर 66.9% कर दिया।
इस रिलीज का उद्देश्य डेवलपर्स के लिए एक पूर्ण रूप से ओपन और सुसंगत इकोसिस्टम प्रदान करना है ताकि वे छोटे मॉडल्स पर प्रोटोटाइप बना सकें और बड़े मॉडल्स में स्केल कर सकें, जबकि NVIDIA, AMD और Cerebras हार्डवेयर के बीच डिप्लॉयमेंट संगतता बनाए रखी जा सके।