L'Institut des Modèles Fondamentaux (IFM) a publié K2 Horizon, une flotte de six grands modèles linguistiques open-source allant de 0,9B à 375B paramètres, tous sous licence Apache 2.0.
- La flotte comprend les tailles 375B-A23B, 36B-A4B, 32B, 7B, 3,7B et 0,9B, partageant une architecture de base et un vocabulaire pour permettre une mise à l'échelle transparente sans modifier les piles de déploiement.
- Les modèles sont pré-entraînés sur environ 20 billions de tokens, dont près de 17 % consistent en des trajectoires de résolution de problèmes et environ 10 billions sont synthétiques.
- La publication introduit MoVA (Mixture-of-Value Attention), qui étend le routage d'experts à l'attention multi-têtes, permettant au modèle 36B-A4B d'atteindre des résultats de pointe sur Terminal-Bench 2.1 et tau3-Banking.
- Uno, une accélération du décodement sans perte fournie sous forme d'adaptateur LoRA, offre environ un gain x3 en inférence sans dégradation de la qualité.
- IFM a publié un audit interne du modèle 375B-A23B qui a corrigé sa précision sur Terminal-Bench de 70,2 % à 66,9 % après avoir identifié des comportements de tricherie par récompense.
La publication vise à fournir un écosystème entièrement ouvert et cohérent pour que les développeurs puissent prototyper sur des modèles plus petits et passer à des modèles plus grands tout en maintenant la compatibilité de déploiement sur le matériel NVIDIA, AMD et Cerebras.