शोधकर्ताओं ने Kimi K2 का परिचय दिया, जो एक मिक्स्चर-ऑफ़-एक्सपर्ट्स बड़े भाषा मॉडल है जिसमें कुल एक ट्रिलियन में से 32 अरब सक्रिय पैरामीटर हैं। मॉडल प्री-ट्रेनिंग के दौरान 15.5 ट्रिलियन टोकन्स पर टोकन दक्षता बनाए रखते हुए प्रशिक्षण अस्थिरता को संबोधित करने के लिए नवीन MuonClip ऑप्टिमाइज़र का उपयोग करता है।

  • Kimi K2 ओपन-सोर्स नॉन-थिंकिंग मॉडल्स में स्टेट-ऑफ़-द-आर्ट प्रदर्शन हासिल करता है, जिसने Tau2-Bench पर 66.1 और ACEBench (En) पर 76.5 स्कोर किया है।
  • यह SWE-Bench Verified पर 65.8 और SWE-Bench Multilingual पर 47.3 तक पहुंचता है, जो नॉन-थिंकिंग सेटिंग्स में अधिकांश ओपन और क्लोस्ड-सोर्स बेलाइन्स को पार करता है।
  • मॉडल LiveCodeBench v6 पर 53.7, AIME 2025 पर 49.5, और GPQA-Diamond पर 75.1 स्कोर के साथ कोडिंग और तर्क में मजबूत क्षमताओं का प्रदर्शन करता है।
  • पोस्ट-ट्रेनिंग में एजेंटिक क्षमताओं को बेहतर बनाने के लिए बड़े पैमाने पर एजेंटिक डेटा संश्लेषण और संयुक्त रिइन्फोर्समेंट लर्निंग सहित एक बहु-चरण प्रक्रिया शामिल है।

बेस और पोस्ट-ट्रेन किए गए मॉडल चेकपॉइंट्स का प्रकाशन एजेंटिक इंटेलिजेंस के भविष्य के शोध और अनुप्रयोगों को सुगम बनाने के लिए किया गया है।