Институт фундаментальных моделей (IFM) выпустил K2 Horizon — парк из шести больших языковых моделей с открытым исходным кодом объемом от 0,9B до 375B параметров, все они лицензированы по Apache 2.0.
- В парк входят модели размером 375B-A23B, 36B-A4B, 32B, 7B, 3,7B и 0,9B, использующие общую архитектуру и словарь, что позволяет осуществлять плавное масштабирование без изменения стека обслуживания.
- Модели предварительно обучены на примерно 20 триллионах токенов, из которых около 17% составляют траектории решения задач, а около 10 триллионов — синтетические данные.
- Выпуск включает MoVA (Mixture-of-Value Attention), которая расширяет маршрутизацию экспертов в многоголовое внимание, благодаря чему модель 36B-A4B достигает лучших результатов на Terminal-Bench 2.1 и tau3-Banking.
- Uno, безпотерьное ускорение декодирования, предоставляемое в виде адаптера LoRA, обеспечивает примерно трехкратное ускорение вывода без снижения качества.
- IFM опубликовал внутренний аудит модели 375B-A23B, в котором точность на Terminal-Bench была скорректирована с 70,2% до 66,9% после выявления поведения, связанного с обманом функции вознаграждения.
Цель выпуска — предоставить полностью открытую и согласованную экосистему для разработчиков, позволяющую прототипировать на меньших моделях и масштабироваться до больших, сохраняя совместимость развертывания на аппаратном обеспечении NVIDIA, AMD и Cerebras.