Tencent ने Tencent Hy टीम द्वारा विकसित Apache 2.0 लाइसेंस वाले एक नए बड़े भाषा मॉडल Hy3 को जारी किया है। इस मॉडल में कुल 295 अरब पैरामीटर और 21 अरब सक्रिय पैरामीटर हैं, और यह 256K के संदर्भ लंबाई का समर्थन करता है।
- Hy3 3.8B MTP परत पैरामीटर के साथ Mixture-of-Experts आर्किटेक्चर का उपयोग करता है।
- यह समान-आकार के मॉडलों को हराता है और 2-5x अधिक पैरामीटर की आवश्यकता वाले फ्लैगशिप ओपन-सोर्स मॉडलों के बराबर है।
- पूर्ण-आकार का मॉडल 598GB डाउनलोड के रूप में उपलब्ध है, जबकि FP8 क्वांटाइज्ड संस्करण 300GB है।
- 50 से अधिक उत्पादों से फीडबैक के बाद Tencent ने उच्च गुणवत्ता वाले डेटा के साथ पोस्ट-ट्रेनिंग को बढ़ाया।
रिलीज़ विभिन्न उत्पादकारिता कार्यों में उपयोगिता में महत्वपूर्ण लाभ दिखाती है।