Moonshotは、Kimi K2 Thinkingのモデルカードを公開し、ステップバイステップで推論しながら動的にツールを呼び出すオープンソースの思考エージェントとしてのその能力について詳述しています。このモデルは、マルチステップ推論の深さをスケーリングすることで、Humanity's Last Exam (HLE) や BrowseComp などのベンチマークで新たな最先端記録を樹立しました。

  • Kimi K2 Thinking は、256k のコンテキストウィンドウを備えたネイティブINT4量子化モデルであり、推論レイテンシとGPUメモリ使用量の損失のない削減を実現しています。
  • 量子化 aware トレーニング（Quantization-Aware Training）を活用し、低レイテンシーモードで2倍の高速化を達成しつつ、200〜300回の連続呼び出しにわたって安定したツール使用を維持します。
  • このモデルは、長期にわたる一貫した目標指向行動を示し、30〜50ステップ後に劣化する既存のモデルを上回っています。

今回のリリースでは、Transformers などのライブラリや vLLM や SGLang などの推論プロバイダとモデルを使用するための手順が提供されています。