Moonshot AIは、そのKimi K2混合専門家言語モデルのモデルカードとチェックポイントを公開しました。このモデルは、合計1兆個のパラメータのうち320億個が活性化しており、Muon最適化器を使用して15.5Tトークンでトレーニングされました。

  • Kimi K2は、最先端の知識、推論、コーディングタスク向けに設計されており、エージェント機能に対して特定の最適化が行われています。
  • bash/エディターツール付きのSWE-bench Verifiedテストで65.8% pass@1、SWE-bench Multilingualテストで47.3%を達成しています。
  • ツール呼び出し、自律的な問題解決、名前フィールドを持つメッセージをサポートします。
  • チェックポイントはvLLM、SGLang、KTransformers、TensorRT-LLMで使用できるよう、Hugging Faceでblock-fp8形式で利用可能です。

今回のリリースでは、ファインチューニング用のベースモデルと、汎用チャットおよびエージェント体験向けのポストトレーニング済みKimi-K2-Instruct変体の両方が提供されています。