IFM发布了K2-Horizon-MoVA-36B-A4B的最终检查点，这是一个采用Mixture-of-Values注意力机制的Mixture-of-Experts模型，存储36B参数但每个token仅运行4B。此次发布包括GGUF格式以及K2-Horizon系列中较小变体的链接。

  • 在智能体和推理基准测试中达到前沿级结果，优于约30B大小的开放密集模型和高达其15倍大小的MoE模型。
  • 从中间训练阶段开始支持原生524,288-token上下文窗口。
  • IFM将发布中间检查点、训练数据、配方和代码以确保完全开放。

该模型定位为大型密集模型的高效替代方案，同时在与封闭前沿系统保持竞争力性能。