Moonshot merilis model Kimi K2 Thinking dengan kuantisasi INT4 native

Moonshot telah merilis kartu model Kimi K2 Thinking, yang mendetailkan kemampuannya sebagai agen berpikir open-source yang bernalar langkah demi langkah sambil secara dinamis memanggil alat. Model ini menetapkan pencapaian terbaru (state-of-the-art) pada benchmark termasuk Humanity's Last Exam (HLE) dan BrowseComp dengan meningkatkan kedalaman penalaran multi-langkah.

• Kimi K2 Thinking adalah model kuantisasi INT4 native yang memiliki jendela konteks 256k, mencapai pengurangan latensi inferensi dan penggunaan memori GPU tanpa kehilangan data.
• Model ini memanfaatkan Quantization-Aware Training untuk mencapai percepatan 2x dalam mode latensi rendah sambil mempertahankan penggunaan alat yang stabil selama 200–300 panggilan berurutan.
• Model ini menunjukkan perilaku terarah tujuan yang koheren dalam jangka panjang, melampaui model-model sebelumnya yang mengalami degradasi setelah 30–50 langkah.

Rilis ini menyediakan instruksi untuk menggunakan model tersebut dengan pustaka seperti Transformers dan penyedia inferensi seperti vLLM dan SGLang.