IFM ने K2-Horizon-MoVA-36B-A4B के लिए अंतिम चेकपॉइंट जारी किया, जो Mixture-of-Values एटेंशन वाला एक Mixture-of-Experts मॉडल है जो 36B पैरामीटर स्टोर करता है लेकिन प्रति टोकन केवल 4B चलाता है। रिलीज़ में GGUF फॉर्मेट और K2-Horizon परिवार में छोटे वेरिएंट्स के लिंक शामिल हैं।
- एजेंटिक और तर्कशील बेंचमार्क्स पर फ्रंटियर-क्लास परिणाम प्राप्त करता है, जो ~30B आकार के खुले घन मॉडलों और उसके आकार से 15× तक MoE मॉडलों को पछाड़ता है।
- मध्य-प्रशिक्षण चरणों से शुरू होकर 524,288-टोकन की नेटिव संदर्भ खिड़की का समर्थन करता है।
- पूर्ण खुलेपन को सुनिश्चित करने के लिए IFM मध्यवर्ती चेकपॉइंट, प्रशिक्षण डेटा, रेसिपी और कोड जारी करेगा।
मॉडल को बड़े घन मॉडलों के उच्च दक्षता वाले विकल्प के रूप में स्थित किया गया है जबकि बंद फ्रंटियर सिस्टम के खिलाफ प्रतिस्पर्धी प्रदर्शन बनाए रखता है।