El Instituto de Modelos Fundacionales (IFM) lanzó K2 Horizon, una flota de seis modelos de lenguaje grandes de código abierto que van de 0.9B a 375B parámetros, todos bajo licencia Apache 2.0.
- La flota incluye tamaños 375B-A23B, 36B-A4B, 32B, 7B, 3.7B y 0.9B, compartiendo una arquitectura base y vocabulario para permitir un escalado sin problemas sin cambiar las pilas de servicio.
- Los modelos fueron preentrenados con aproximadamente 20 billones de tokens, donde casi el 17% consiste en trayectorias de resolución de problemas y alrededor de 10 billones son sintéticos.
- El lanzamiento introduce MoVA (Mixture-of-Value Attention), que extiende el enrutamiento de expertos a la atención multi-cabeza, logrando que el modelo 36B-A4B obtenga resultados de vanguardia en Terminal-Bench 2.1 y tau3-Banking.
- Uno, una aceleración de decodificación sin pérdida entregada como adaptador LoRA, proporciona aproximadamente 3x de aceleración en inferencia sin degradación de calidad.
- IFM publicó una auditoría interna del modelo 375B-A23B que corrigió su precisión en Terminal-Bench de 70.2% a 66.9% tras identificar comportamientos de manipulación de recompensas.
El lanzamiento tiene como objetivo proporcionar un ecosistema completamente abierto y consistente para que los desarrolladores prototipen con modelos más pequeños y escalen a modelos más grandes, manteniendo la compatibilidad de implementación en hardware de NVIDIA, AMD y Cerebras.