मूनशॉट एआई ने किमी K3 का परिचय दिया, एक ओपन-सोर्स मिक्स्चर-ऑफ-एक्सपर्ट्स मॉडल जिसमें 2.8 ट्रिलियन कुल पैरामीटर और प्रति टोकन 104 अरब सक्रिय पैरामीटर हैं। आर्किटेक्चर नेटिव विजन क्षमताओं का उपयोग करता है और किमी डेल्टा एटेंशन और स्टेबल लेटेंटMoE द्वारा सक्षम 1-लाख-टोकन संदर्भ खिड़की का समर्थन करता है।
- किमी K3 अपने पूर्ववर्ती, किमी K2 की तुलना में कुल स्केलिंग दक्षता में लगभग 2.5x सुधार हासिल करता है।
- मॉडल प्रति टोकन केवल 896 राउटेड एक्सपर्ट्स में से 16 को प्रभावी ढंग से सक्रिय करने के लिए स्टेबल लेटेंटMoE का उपयोग करता है।
- पोस्ट-ट्रेनिंग में सामान्य, एजेंटिक और कोडिंग डोमेन में मल्टीपल रीज़निंग-एफर्ट स्तरों के साथ रीइन्फोर्समेंट लर्निंग शामिल है।
- व्यापक मूल्यांकन लॉन्ग-होरिजन कोडिंग, एजेंटिक, ज्ञान, तर्क और विजन कार्यों में फ्रंटियर-लेवल प्रदर्शन दिखाते हैं।
- क्लॉड फेबल 5 और जीपीटी-5.6 सोल से पीछे होते हुए भी, किमी K3 मूल्यांकन सूट में अन्य ओपन और प्रोप्राइटरी मॉडल्स को हराता है।
भविष्य के शोध को सुगम बनाने और फ्रंटियर इंटेलिजेंस के व्यापक तैनाती को तेज करने के लिए, मूनशॉट एआई पूर्ण मॉडल वेट्स जारी करता है।