Moonshot AI a publié la fiche du modèle et les points de contrôle pour son modèle de langage Kimi K2 à mélange d'experts. Le modèle comporte 32 milliards de paramètres activés sur un total de 1 billion, entraîné sur 15,5T tokens en utilisant l'optimiseur Muon.
- Kimi K2 est conçu pour les tâches de connaissances de pointe, de raisonnement et de codage avec une optimisation spécifique pour les capacités agentic.
- Il atteint 65,8 % pass@1 sur les tests SWE-bench Verified avec des outils bash/editor et 47,3 % sur les tests SWE-bench Multilingual.
- Le modèle prend en charge l'appel d'outils, la résolution autonome de problèmes et les messages avec des champs de nom.
- Les points de contrôle sont disponibles au format block-fp8 sur Hugging Face pour une utilisation avec vLLM, SGLang, KTransformers et TensorRT-LLM.
La publication fournit à la fois un modèle de base pour le fine-tuning et la variante Kimi-K2-Instruct post-entraînement pour le chat polyvalent et les expériences agentic.