Moonshotは、2.8TパラメータのMixture-of-ExpertsモデルであるKimi K3の完全な詳細、重み、およびサポートインフラストラクチャを公開しました。このモデルは、トークンあたり約104Bのパラメータがアクティブです。

公開内容には、ハイブリッド長文脈スタックの詳細や、MoonEP、FlashKDA、AgentEnvといった新ツールを含む技術レポートが含まれています。

  • Kimi K3は、Kimi Delta Attention、Gated MLA、sparse LatentMoEを使用して、長さ、深さ、幅全体でスケーリングし、マルチティーチャーのオンポリシー蒸留によってトレーニングされています。
  • インフラストラクチャコンポーネントは公開の中心であり、NVIDIAがDynamoのデプロイメントをサポートし、Red Hat AIがFP8-Block Hopperチューニング済みチェックポイントを提供しています。
  • コスト分析によると、重大なハードウェア要件があり、最小構成には8x MI355X GPUが必要で、本番環境でのサービングには高帯域幅ドメインで64以上のGPUが必要になる可能性があります。
  • オープンウェイトの公開により、Perplexity、Baseten、Togetherなどのプロバイダーが急速に採用し、セルフホスティングの高コストのため、ホストされた推論オプションを提供しています。

この公開は、フロンティアモデルのオープンウェイトには現在、 substantialなインフラストラクチャ投資が必要であり、アクセスが単純なセルフデプロイメントからホスト型サービスへとシフトしていることを示しています。