मूनशॉट एआई ने किमी K3 का परिचय दिया, जो एक ओपन-सोर्स मिक्स्चर-ऑफ-एक्सपर्ट्स मॉडल है जिसमें कुल 2.8 ट्रिलियन पैरामीटर और प्रति टोकन 104 अरब सक्रिय पैरामीटर हैं। यह मॉडल नेटिव विज़न क्षमताओं और 1-लाख-टोकन संदर्भ खिड़की का समर्थन करता है, अपने पूर्ववर्ती किमी K2 की तुलना में लगभग 2.5x स्केलिंग दक्षता प्राप्त करने के लिए किमी डेल्टा एटेंशन और स्टेबल लैटेंटMoE का लाभ उठाता है।
- किमी K3 अनुक्रम लंबाई और मॉडल गहराई भर में जानकारी प्रवाह को बेहतर बनाने के लिए किमी डेल्टा एटेंशन और एटेंशन रेसिड्यूल्स का उपयोग करता है।
- स्टेबल लैटेंटMoE प्रति टोकन 896 राउटेड एक्सपर्ट्स में से 16 को प्रभावी ढंग से सक्रिय करता है।
- पोस्ट-ट्रेनिंग में सामान्य, एजेंटिक और कोडिंग डोमेन में मल्टीपल रीज़निंग-एफर्ट लेवल के साथ रिइन्फोर्समेंट लर्निंग शामिल है।
- यह मॉडल लॉन्ग-होरिज़न कोडिंग, एजेंटिक, ज्ञान, तर्क और विज़न कार्यों में फ्रंटियर-लेवल प्रदर्शन प्राप्त करता है।
- जबकि यह क्लॉडे फेबल 5 और जीपीटी-5.6 सोल से पीछे है, यह अन्य मूल्यांकित ओपन और प्रोप्राइटरी मॉडल्स को पार कर जाता है।
मूनशॉट एआई भविष्य के शोध को सुगम बनाने और फ्रंटियर इंटेलिजेंस के व्यापक तैनाती को तेज़ करने के लिए पूर्ण किमी K3 मॉडल वेट्स जारी कर रहा है।