Moonshot AI ने अपने Kimi K2 मिक्स्चर-ऑफ-एक्सपर्ट्स भाषा मॉडल के लिए मॉडल कार्ड और चेकपॉइंट जारी किए हैं। इस मॉडल में कुल 1 ट्रिलियन पैरामीटरों में से 32 अर्ब सक्रिय पैरामीटर हैं, जिन्हें Muon ऑप्टिमाइज़र का उपयोग करके 15.5T टोकन पर प्रशिक्षित किया गया है।
- Kimi K2 को फ्रंटियर ज्ञान, तर्क और कोडिंग कार्यों के लिए डिज़ाइन किया गया है, जिसमें एजेंटिक क्षमताओं के लिए विशिष्ट अनुकूलन शामिल है।
- यह bash/एडिटर टूल्स के साथ SWE-bench Verified परीक्षणों में 65.8% pass@1 और SWE-bench बहुभाषी परीक्षणों में 47.3% प्राप्त करता है।
- मॉडल टूल कॉलिंग, स्वतंत्र समस्या समाधान और नाम फ़ील्ड्स के साथ संदेशों का समर्थन करता है।
- चेकपॉइंट vLLM, SGLang, KTransformers और TensorRT-LLM के साथ उपयोग के लिए Hugging Face पर block-fp8 प्रारूप में उपलब्ध हैं।
यह रिलीज़ फाइन-ट्यूनिंग के लिए एक बेस मॉडल और सामान्य उद्देश्य चैट व एजेंटिक अनुभवों के लिए पोस्ट-प्रशिक्षित Kimi-K2-Instruct वेरिएंट दोनों प्रदान करती है।