Moonshot AIは、総パラメータ数2.8兆、1トークンあたり活性化パラメータ数1040億を備えたオープンソースのMixture-of-Expertsモデル「Kimi K3」を発表した。本アーキテクチャはネイティブなビジョン機能を活用し、Kimi Delta AttentionとStable LatentMoEにより1百万トークンのコンテキストウィンドウをサポートする。

  • Kimi K3は、前世代のKimi K2と比較して全体のスケーリング効率を約2.5倍向上させた。
  • 本モデルはStable LatentMoEを採用し、896あるルーティングされたエキスパートのうち1トークンあたりわずか16個のみを効果的に活性化させる。
  • 学習後処理には、一般領域、エージェント領域、コーディング領域における複数レベルの推論努力を伴う強化学習が含まれる。
  • 広範な評価により、長期コーディング、エージェント、知識、推論、ビジョンタスクにおいて最先端レベルのパフォーマンスを示した。
  • Claude Fable 5やGPT-5.6 Solには及ばないものの、Kimi K3は評価スイート内の他のオープンおよびプロプライエタリモデルを上回る性能を発揮した。

Moonshot AIは、将来の研究を促進し、最先端知能のより広範な展開を加速するため、完全なモデル重みを公開した。