टेंसेंट हाई टीम ने Hy4 प्रीव्यू को ओपन-सोर्स किया है, जो एक नई पीढ़ी का मिक्स्चर-ऑफ-एक्सपर्ट्स फ्लैगशिप मॉडल है जिसमें कुल 770B पैरामीटर हैं और प्रति टोकन 49B सक्रिय होते हैं। इस आर्किटेक्चर में 78 परतें हैं जिनमें से पहली एक घनी FFN का उपयोग करती है और शेष 77 MoE का उपयोग करते हुए 256 राउटेड एक्सपर्ट्स के साथ, अनुमानित डिकोडिंग के लिए एक नेटिव MTP परत भी शामिल है।
- Hy4 प्रीव्यू को उत्पादकता कार्यों में सुधार करने के लिए टेंसेंट सॉफ्टवेयर इंजीनियरों, गेम डेवलपर्स और वित्त विश्लेषकों के डेटा पर प्रशिक्षित किया गया है।
- 163 आंतरिक विशेषज्ञों द्वारा 203 इंजीनियरिंग कार्यों पर अंधेरे साइड-बाय-साइड मूल्यांकन में, Hy4 प्रीव्यू ने 2.99 स्कोर किया, जो GLM 5.3 (2.92) और Kimi K3 (2.94) से थोड़ा आगे है।
- मॉडल MTP सक्षम के साथ vLLM या SGLang के माध्यम से डिप्लॉयमेंट का समर्थन करता है, और संकुचन के लिए एक AngelSlim टूलकिट शामिल है।
रिलीज का उद्देश्य मॉडल बुद्धिमत्ता की सीमाओं को बढ़ाने के साथ-साथ उपयोगकर्ता फीडबैक पर आधारित प्रारंभिक पुनरावृत्ति के माध्यम से इसे अधिक उपलब्ध और सस्ता बनाना है।