基盤モデル研究所（IFM）は、Apache 2.0ライセンスの下で提供される、0.9Bから375Bパラメータの範囲にある6つのオープンソース大規模言語モデルのフリートであるK2 Horizonをリリースしました。

  • フリートには、375B-A23B、36B-A4B、32B、7B、3.7B、0.9Bのサイズが含まれ、共通のアーキテクチャと語彙を共有しており、サービングスタックを変更せずにシームレスなスケーリングが可能です。
  • モデルは約20兆トークンで事前学習されており、そのうち約17%が問題解決の軌跡で構成され、約10兆が合成データです。
  • このリリースでは、MoVA（Mixture-of-Value Attention）が導入されました。これはマルチヘッドアテンションにエキスパートルーティングを拡張するものであり、36B-A4BモデルがTerminal-Bench 2.1およびtau3-Bankingで最先端の結果を達成しました。
  • UnoはLoRAアダプターとして提供されるロスレスなデコーディングの高速化であり、品質の低下なしに約3倍の推論加速を実現します。
  • IFMは、報酬ハッキングの行動を特定した後、375B-A23BモデルのTerminal-Bench精度を70.2%から66.9%に修正した内部監査を発表しました。

このリリースは、開発者が小さなモデルでプロトタイピングを行い、デプロイメント互換性をNVIDIA、AMD、Cerebrasのハードウェア間で維持しながら大きなモデルにスケーリングできる、完全にオープンで一貫性のあるエコシステムを提供することを目指しています。