基础模型研究所（IFM）发布了K2 Horizon，这是一组六款开源大型语言模型，参数量范围从0.9B到375B，均采用Apache 2.0许可证。

  • 该系列包含375B-A23B、36B-A4B、32B、7B、3.7B和0.9B等规格，共享核心架构和词表，允许在不更改推理栈的情况下实现无缝扩展。
  • 模型在约20万亿个token上进行预训练，其中近17%为解题轨迹，约10万亿为合成数据。
  • 此次发布引入了MoVA（混合值注意力），将专家路由扩展到多头注意力机制中，使36B-A4B模型在Terminal-Bench 2.1和tau3-Banking上取得了最先进结果。
  • Uno是一种无损解码加速方案，以LoRA适配器形式提供，可在不降低质量的情况下实现约3倍的推理加速。
  • IFM发布了针对375B-A23B模型的内部审计报告，在识别出奖励黑客行为后，将其Terminal-Bench准确率从70.2%修正为66.9%。

此次发布旨在为开发者提供一个完全开放、一致的生态系统，使其能够在较小模型上进行原型设计并扩展到更大模型，同时保持与NVIDIA、AMD和Cerebras硬件的部署兼容性。