研究者らは、総パラメータ数1兆のうち320億が活性化されるMixture-of-Experts大規模言語モデルであるKimi K2を発表した。このモデルは、15.5兆トークンでの事前学習中にトークン効率を維持しつつトレーニングの不安定性に対処するため、新たなMuonClipオプティマイザを利用している。

  • Kimi K2は、オープンソースの非思考型モデルの中で最先端のパフォーマンスを達成し、Tau2-Benchで66.1、ACEBench (En)で76.5のスコアを獲得した。
  • SWE-Bench Verifiedで65.8、SWE-Bench Multilingualで47.3に達し、非思考型設定におけるオープンソースおよびクローズドソースのベースラインの大部分を上回った。
  • コーディングと推論において強力な能力を示し、LiveCodeBench v6で53.7、AIME 2025で49.5、GPQA-Diamondで75.1のスコアを記録した。
  • ポストトレーニングには、大規模なエージェントデータ合成と統合強化学習を含むマルチステージプロセスが含まれ、エージェント能力の向上を図っている。

ベースモデルおよびポストトレーニング済みモデルのチェックポイントの公開は、エージェント知能の将来の研究と応用を促進することを目的としている。