IFMは、Mixture-of-Values注意機構を搭載し、36Bのパラメータを保存しながらトークンごとに4Bのみを実行するMixture-of-ExpertsモデルであるK2-Horizon-MoVA-36B-A4Bの最終チェックポイントをリリースしました。リリースにはGGUF形式とK2-Horizonファミリー内のより小さなバリアントへのリンクが含まれています。

  • エージェントおよび推論ベンチマークでフロンティアクラスの成果を達成し、約30Bサイズのオープンな密モデルやその15倍までのサイズのMoEモデルを上回ります。
  • 中間学習段階からネイティブの524,288トークンコンテキストウィンドウをサポートします。
  • IFMは完全なオープン性を確保するため、中間チェックポイント、トレーニングデータ、レシピ、コードをリリースします。

このモデルは、閉じたフロンティアシステムとの競争力を維持しつつ、より大きな密モデルに対する高効率な代替手段として位置付けられています。