टेंसेंट हाई टीम ने Hy4-preview को ओपन-सोर्स किया है, जो एक नई पीढ़ी का मिक्स्चर-ऑफ-एक्सपर्ट्स फ्लैगशिप मॉडल है जिसमें कुल 770B पैरामीटर हैं और प्रति टोकन 49B सक्रिय होते हैं। इसकी आर्किटेक्चर में 78 लेयर्स हैं जिनमें पहला लेयर एक डेंस FFN का उपयोग करता है और शेष 77 लेयर्स 256 राउटेड एक्सपर्ट्स के साथ MoE का उपयोग करते हैं, साथ ही स्पेकुलेटिव डिकोडिंग के लिए एक नेटिव MTP लेयर भी है।
- Hy4-preview जानकारी के प्रवाह को बढ़ाने के लिए गेटेड DeepSeek स्पार्स एटेंशन और आइडेंटिटी हाइपर-कनेक्शन्स का उपयोग करता है।
- ट्रेनिंग डेटा को सॉफ्टवेयर इंजीनियरिंग, वित्त और गेम डेवलपमेंट में आंतरिक टेंसेंट विशेषज्ञों द्वारा तैयार किया गया था।
- 203 इंजीनियरिंग कार्यों पर अंधेरे साइड-बाय-साइड मूल्यांकन में, Hy4-preview ने 2.99 स्कोर प्राप्त किया, जो GLM 5.3 (2.92) और Kimi K3 (2.94) से थोड़ा आगे है।
- वेट्स Apache License 2.0 के तहत स्टैंडर्ड और FP8 फॉर्मेट में उपलब्ध हैं।
मॉडल का उद्देश्य लंबे समय तक चलने वाले कोडिंग, डेटा विश्लेषण और वैज्ञानिक शोध जैसे जटिल कार्यों में उत्पादकता को बढ़ाना है, जिसके लिए vLLM और SGLang के साथ डिप्लॉयमेंट सहायता उपलब्ध है।