قام فريق Tencent Hy بنشر نموذج Hy4 preview، وهو نموذج رائد جديد من نوع Mixture-of-Experts يتكون من 770B إجمالي معلمات مع تفعيل 49B لكل توكن. يتميز الهيكل المعماري بـ 78 طبقة حيث تستخدم الأولى FFN كثيف بينما تستخدم الطبقات الـ 77 المتبقية MoE مع 256 خبيرًا موجهًا، بالإضافة إلى طبقة MTP أصلية للترميز التخميني.
- تم تدريب Hy4 preview على بيانات من مهندسي برمجيات تينسنت ومطوري الألعاب والمحللين الماليين لتحسين مهام الإنتاجية.
- في تقييمات عمياء جنبًا إلى جنب على 203 مهمة هندسية من قبل 163 خبيرًا داخليًا، حصل Hy4 preview على درجة 2.99، متقدمًا قليلاً عن GLM 5.3 (2.92) وKimi K3 (2.94).
- يدعم النموذج النشر عبر vLLM أو SGLang مع تفعيل MTP، ويتضمن مجموعة أدوات AngelSlim للضغط.
يهدف الإصدار إلى دفع حدود ذكاء النماذج مع جعلها أكثر وفرة وبأسعار معقولة من خلال التكرار المبني على ملاحظات المستخدمين.