Moonshot AI présente Kimi K3, un modèle Mixture-of-Experts open-source comportant 2,8 billions de paramètres au total et 104 milliards de paramètres activés par token. L'architecture utilise des capacités visuelles natives et prend en charge une fenêtre de contexte d'un million de tokens, grâce à Kimi Delta Attention et Stable LatentMoE.

  • Kimi K3 offre une amélioration d'environ 2,5x de l'efficacité globale du scaling par rapport à son prédécesseur, Kimi K2.
  • Le modèle utilise Stable LatentMoE pour activer efficacement seulement 16 des 896 experts routés par token.
  • L'entraînement post-inclusion comprend un apprentissage par renforcement dans les domaines général, agentic et de codage, avec plusieurs niveaux d'effort de raisonnement.
  • Des évaluations approfondies montrent des performances de pointe en codage à long terme, agentic, connaissances, raisonnement et tâches visuelles.
  • Bien qu'en retrait derrière Claude Fable 5 et GPT-5.6 Sol, Kimi K3 surpasse les autres modèles ouverts et propriétaires dans la suite d'évaluation.

Moonshot AI publie l'intégralité des poids du modèle pour faciliter la recherche future et accélérer le déploiement plus large de l'intelligence de pointe.