أطلقت IFM النقطة المرجعية النهائية لـ K2-Horizon-MoVA-36B-A4B، وهو نموذج Mixture-of-Experts يتميز بانتباه Mixture-of-Values ويخزن 36B من المعلمات ولكن يشغل فقط 4B لكل توكن. يتضمن الإصدار تنسيقات GGUF وروابط إلى متغيرات أصغر في عائلة K2-Horizon.

  • يحقق نتائج على مستوى النماذج الرائدة في معايير التقييم الوكيلية والاستدلالية، متفوقًا على النماذج الكثيفة المفتوحة بحجم ~30B ونماذج MoE حتى 15× حجمها.
  • يدعم نافذة سياق أصلية بطول 524,288 توكن بدءًا من مراحل التدريب المتوسطة فصاعدًا.
  • ستقوم IFM بنشر نقاط مرجعية وسيطة وبيانات التدريب والوصفة والكود لضمان الانفتاح الكامل.

يتم وضع النموذج كبديل عالي الكفاءة للنماذج الكثيفة الأكبر مع الحفاظ على أداء تنافسي ضد الأنظمة الرائدة المغلقة.