أطلقت تيانتسك (Tencent) نموذج Hy3، وهو نموذج لغوي كبير جديد مرخص بموجب رخصة Apache 2.0 طورته فريق Tencent Hy. يتميز النموذج بـ 295 مليار معلمة إجمالاً مع 21 مليار معلمة نشطة ويدعم طول سياق يبلغ 256K.
- يستخدم Hy3 بنية Mixture-of-Experts مع معاملات طبقة MTP بحجم 3.8B.
- يتفوق على النماذج المماثلة في الحجم ويتنافس مع نماذج open-source الرائدة التي تتطلب 2 إلى 5 أضعاف عدد المعاملات.
- يتوفر النموذج بالحجم الكامل كتحميل بحجم 598GB، بينما نسخة FP8 الكمية بحجم 300GB.
- قامت تيانتسك بتوسيع نطاق التدريب اللاحق (post-training) باستخدام بيانات ذات جودة أعلى بناءً على ملاحظات من أكثر من 50 منتجاً.
يُظهر هذا الإصدار مكاسب كبيرة في الفعالية عبر مجموعة متنوعة من مهام الإنتاجية.