أصدر معهد النماذج الأساسية (IFM) K2 Horizon، وهو أسطول من ستة نماذج لغوية كبيرة مفتوحة المصدر تتراوح بين 0.9B و375B معلمة، جميعها مرخصة بموجب Apache 2.0.

  • يشمل الأسطول الأحجام 375B-A23B و36B-A4B و32B و7B و3.7B و0.9B، وتشارك بنية أساسية ومفردات مشتركة تتيح التوسع السلس دون تغيير أطر التشغيل.
  • تم تدريب النماذج مسبقاً على ما يقرب من 20 تريليون رمز، حيث تشكل مسارات حل المشكلات حوالي 17% منها، بينما تكون حوالي 10 تريليون منها اصطناعية.
  • تقدم الإصدار MoVA (مزيج الانتباه للقيمة)، الذي يوسع توجيه الخبراء إلى انتباه متعدد الرؤوس، مما أدى بتحقيق نموذج 36B-A4B لأفضل النتائج على Terminal-Bench 2.1 وtau3-Banking.
  • Uno، تسريع فك التشفير بدون فقدان البيانات يتم تسليمه كمُعدِّل LoRA، يوفر تسريعاً للاستنتاج بمقدار 3x تقريباً دون تدهور الجودة.
  • نشر IFM تدقيقاً داخلياً لنموذج 375B-A23B صحح دقته على Terminal-Bench من 70.2% إلى 66.9% بعد اكتشاف سلوكيات التلاعب بالمكافأة.

تهدف الإصدار إلى توفير بيئة مفتوحة ومتسقة للمطورين لتجربة النماذج الأصغر والتوسع نحو الأكبر مع الحفاظ على توافق النشر عبر عتاد NVIDIA وAMD وCerebras.