قام فريق Tencent Hy بنشر نموذج Hy4-preview، وهو نموذج رائد جديد من نوع Mixture-of-Experts يتكون من إجمالي 770 مليار معلمة مع تفعيل 49 مليار منها لكل توكن. يتميز الهيكل المعماري بوجود 78 طبقة، حيث تستخدم الأولى FFN كثيفاً بينما تستخدم الطبقات الـ 77 المتبقية MoE مع 256 خبيراً موجهاً، بالإضافة إلى طبقة MTP أصلية للترميز التخميني.
- يستخدم Hy4-preview Gated DeepSeek Sparse Attention و Hyper-Connections هوية لتعزيز تدفق المعلومات.
- تم تنقية بيانات التدريب بالتعاون مع خبراء تينسنت الداخليين في هندسة البرمجيات، والمالية، وتطوير الألعاب.
- في تقييمات عمياء متوازية على 203 مهمة هندسية، حصل Hy4-preview على درجة 2.99، متقدماً قليلاً على GLM 5.3 (2.92) و Kimi K3 (2.94).
- الأوزان متاحة بتنسيقيها القياسي و FP8 بموجب رخصة Apache License 2.0.
يهدف النموذج إلى تحسين الإنتاجية عبر مهام معقدة مثل البرمجة طويلة المدى، وتحليل البيانات، والبحث العلمي، مع دعم النشر لـ vLLM و SGLang.