Moonshot は Hugging Face で Kimi K3 モデルの重みを公開しました。このモデルは 2.8 兆パラメータを持ち、mixture-of-experts アーキテクチャを採用し、トークンごとに 16 のアクティブなエキスパートを使用します。チームは A100、H200、B300 GPU でモデルをデプロイする計画を立てており、ベンチマーク結果は今週中に公開される予定です。

  • Kimi K3 は MXFP4 で量子化対応トレーニングを行い、約 1.4 TB の重みになります。
  • メモリ制約とネイティブ FP4 サポートの欠如により、8x A100 でのデプロイメントには 3 つのノードが必要です。
  • 8x H200 セットアップでも少なくとも 2 つのノードが必要で、インターコネクトコストが発生します。
  • 8x B300 構成のみが KV cache の余裕を持って単一ノードにモデル全体を収めることができます。

著者は今週中に、すべての GPU 構成に対するトークン/秒、最初のトークンまでの時間、およびコスト指標を提供する予定です。