Moonshot 已在 Hugging Face 上发布了 Kimi K3 模型的权重，该模型拥有 2.8 万亿参数，采用 mixture-of-experts 架构，每个 token 有 16 个活跃专家。团队计划将模型部署在 A100、H200 和 B300 GPU 上，基准测试结果预计将于本周公布。

  • Kimi K3 使用 MXFP4 感知量化训练，产生约 1.4 TB 的权重。
  • 由于内存限制且缺乏原生 FP4 支持，在 8x A100 上部署需要三个节点。
  • 8x H200 配置也至少需要两个节点，会产生互联成本。
  • 只有 8x B300 配置能在单个节点中容纳整个模型，并留有 KV cache 的空间。

作者将在本周结束前提供所有三种 GPU 配置的每秒 token 数、首 token 时间和成本指标。