Moonshot AI publie Kimi K3 ouvert, un modèle MoE de 2,8 T de paramètres avec un contexte de 1 M

Moonshot AI a publié Kimi K3, un modèle sparse Mixture-of-Experts (MoE) open-source doté de capacités de vision natives et d'une fenêtre de contexte de 1 million de tokens. C'est le premier modèle ouvert à atteindre l'échelle de 2,8 billions de paramètres.

• L'architecture introduit Kimi Delta Attention (KDA) pour un décodage jusqu'à 6,3x plus rapide dans les contextes longs et des Résidus d'Attention (AttnRes) pour une efficacité d'entraînement environ 25 % supérieure.
• K3 n'active que 16 des 896 experts, atteignant une efficacité de mise à l'échelle globale environ 2,5x meilleure que son prédécesseur, Kimi K2.
• Dans les benchmarks, K3 mène Program Bench, SWE Marathon, BrowseComp, Automation Bench et OmniDocBench, tandis qu'il est derrière Claude Fable 5 sur FrontierSWE et HLE-Full.
• Le modèle est accessible via le SDK OpenAI avec une tarification plate de 0,30 $/MTok pour l'entrée en cache-hit et 15,00 $/MTok pour la sortie.

Moonshot indique que K3 cible la programmation à long terme, le travail du savoir et le raisonnement, offrant une alternative open-source haute performance aux modèles propriétaires comme Claude Fable 5 et GPT 5.6 Sol.