Moonshot ने Kimi K2 Thinking मॉडल कार्ड जारी किया है, जिसमें एक ओपन-सोर्स थिंकिंग एजेंट की क्षमताओं का विस्तार से वर्णन किया गया है जो कदम-दर-कदम तर्क लगाता है और गतिशील रूप से टूल्स को इन्वोक करता है। मॉडल Humanity's Last Exam (HLE) और BrowseComp सहित बेंचमार्क्स पर नई राज्य-की-कला स्थापित करता है, बहु-चरण तर्क की गहराई को बढ़ाकर।
- Kimi K2 Thinking एक स्थानीय INT4 क्वांटिज़ेशन मॉडल है जिसमें 256k संदर्भ खिड़की है, जो इनफरेंस लेटेंसी और GPU मेमोरी उपयोग में बिना क्षति के कमी लाता है।
- यह कम लेटेंसी मोड में 2x गति प्राप्त करने के लिए क्वांटिज़ेशन-अवेयर ट्रेनिंग का उपयोग करता है, जबकि 200–300 क्रमिक कॉल के दौरान स्थिर टूल-यूज़ बनाए रखता है।
- मॉडल लंबे समय तक उद्देश्य-केंद्रित व्यवहार प्रदर्शित करता है, जो 30–50 चरणों के बाद गिरावट दिखाते हुए पूर्व मॉडलों को पार कर जाता है।
रिलीज़ में Transformers जैसी लाइब्रेरीज और vLLM और SGLang जैसे इनफरेंस प्रदाताओं के साथ मॉडल का उपयोग करने के लिए निर्देश प्रदान किए गए हैं।