Moonshot AI推出了Kimi K3，这是一个开源的混合专家（Mixture-of-Experts）模型，总参数量为2.8万亿，每个token激活1040亿参数。该模型原生支持视觉能力，并具备100万token的上下文窗口，通过利用Kimi Delta Attention和Stable LatentMoE技术，其扩展效率较前代模型Kimi K2提升了约2.5倍。

  • Kimi K3采用Kimi Delta Attention和Attention Residuals来改善序列长度和模型深度之间的信息流动。
  • Stable LatentMoE有效激活了896个路由专家中的16个，每个token对应一个专家。
  • 后训练阶段包括在通用、智能体和编码领域进行的强化学习，涵盖多种推理努力层级。
  • 该模型在长周期编码、智能体、知识、推理和视觉任务中达到了前沿水平的性能。
  • 虽然略逊于Claude Fable 5和GPT-5.6 Sol，但其表现优于其他已评估的开源和专有模型。

Moonshot AI正在发布完整的Kimi K3模型权重，以促进未来的研究并加速前沿智能的更广泛部署。