Moonshot AI merilis Kimi K3 terbuka, model MoE 2,8T parameter dengan konteks 1M

Moonshot AI telah merilis Kimi K3, model sparse Mixture-of-Experts (MoE) sumber terbuka yang memiliki kemampuan visi asli dan jendela konteks 1 juta token. Ini adalah model terbuka pertama yang mencapai skala 2,8 triliun parameter.

• Arsitektur ini memperkenalkan Kimi Delta Attention (KDA) untuk dekoding hingga 6,3x lebih cepat dalam konteks panjang dan Attention Residuals (AttnRes) untuk efisiensi pelatihan sekitar 25% lebih tinggi.
• K3 hanya mengaktifkan 16 dari 896 ahli, mencapai efisiensi skalabilitas keseluruhan sekitar 2,5x lebih baik daripada pendahulunya, Kimi K2.
• Dalam benchmark, K3 memimpin Program Bench, SWE Marathon, BrowseComp, Automation Bench, dan OmniDocBench, sementara tertinggal di belakang Claude Fable 5 pada FrontierSWE dan HLE-Full.
• Model ini dapat diakses melalui OpenAI SDK dengan harga flat $0,30/MTok untuk input cache-hit dan $15,00/MTok untuk output.

Moonshot menyatakan bahwa K3 menargetkan pemrograman jangka panjang, pekerjaan berbasis pengetahuan, dan penalaran, menawarkan alternatif terbuka berkinerja tinggi terhadap model tertutup seperti Claude Fable 5 dan GPT 5.6 Sol.