IFM a publié le checkpoint final pour K2-Horizon-MoVA-36B-A4B, un modèle Mixture-of-Experts présentant une attention Mixture-of-Values qui stocke 36B de paramètres mais n'exécute que 4B par token. Le lancement inclut les formats GGUF et des liens vers des variantes plus petites de la famille K2-Horizon.

  • Atteint des résultats de classe leader sur les benchmarks agéntiques et de raisonnement, surpassant les modèles denses ouverts de ~30B et les modèles MoE jusqu'à 15× sa taille.
  • Prend en charge une fenêtre de contexte native de 524,288 tokens à partir des étapes d'entraînement intermédiaire.
  • IFM publiera des checkpoints intermédiaires, les données d'entraînement, la recette et le code pour garantir une ouverture totale.

Le modèle est positionné comme une alternative hautement efficace aux modèles denses plus grands tout en maintenant des performances compétitives face aux systèmes frontier fermés.