Moonshot AI memperkenalkan Kimi K3, model Mixture-of-Experts sumber terbuka yang memiliki 2,8 triliun parameter total dan 104 miliar parameter teraktivasi per token. Arsitekturnya memanfaatkan kemampuan visi asli dan mendukung jendela konteks 1 juta token, yang diaktifkan oleh Kimi Delta Attention dan Stable LatentMoE.

  • Kimi K3 mencapai peningkatan sekitar 2,5x dalam efisiensi penskalaan keseluruhan dibandingkan pendahulunya, Kimi K2.
  • Model ini menggunakan Stable LatentMoE untuk secara efektif mengaktivasi hanya 16 dari 896 ahli yang dialihkan per token.
  • Pasca-pelatihan mencakup pembelajaran penguatan di domain umum, agentic, dan pemrograman dengan berbagai tingkat usaha penalaran.
  • Evaluasi ekstensif menunjukkan kinerja tingkat terdepan dalam tugas kode jangka panjang, agentic, pengetahuan, penalaran, dan visi.
  • Meskipun tertinggal dari Claude Fable 5 dan GPT-5.6 Sol, Kimi K3 mengungguli model sumber terbuka dan tertutup lainnya dalam rangkaian evaluasi.

Moonshot AI merilis bobot model lengkap untuk memfasilitasi penelitian di masa depan dan mempercepat penyebaran kecerdasan tingkat terdepan secara lebih luas.