IFM выпустила финальный чекпоинт для K2-Horizon-MoVA-36B-A4B, модели Mixture-of-Experts с механизмом внимания Mixture-of-Values, которая хранит 36B параметров, но использует только 4B на токен. В релиз входят форматы GGUF и ссылки на более мелкие варианты семейства K2-Horizon.

  • Демонстрирует результаты уровня передовых моделей на агентных и рассуждающих бенчмарках, превосходя открытые плотные модели размера ~30B и MoE-модели размером до 15× больше её.
  • Поддерживает нативное контекстное окно длиной 524,288 токенов начиная со стадий промежуточного обучения.
  • IFM выпустит промежуточные чекпоинты, обучающие данные, рецепт и код для обеспечения полной открытости.

Модель позиционируется как высокоэффективная альтернатива более крупным плотным моделям при сохранении конкурентоспособной производительности по сравнению с закрытыми передовыми системами.