हुआवेई ने openPangu-2.0-Pro के लिए ओपन-सोर्स वेट्स जारी किए हैं, जो एक मिक्सचर ऑफ एक्सपर्ट्स (MoE) लार्ज लैंग्वेज मॉडल है जिसे Ascend हार्डवेयर पर ट्रेन किया गया था। इस मॉडल में 505 बिलियन कुल पैरामीटर और 18 बिलियन सक्रिय पैरामीटर हैं, और यह 512k टोकन की संदर्भ लंबाई का समर्थन करता है।
- कुल प्रीट्रेनिंग डेटा में 34T टोकन शामिल हैं।
- पोस्ट-ट्रेनिंग में स्लो और फास्ट थिंकिंग क्षमताओं के साथ एकीकृत SFT का उपयोग किया जाता है।
- ट्रेनिंग में कई विशेषज्ञ RL ट्रेनिंग और कई RL विशेषज्ञों को जोड़ने वाली ऑन-पोलिसी डिस्टिलेशन शामिल है।
मॉडल की तकनीकी विवरण openPangu-2.0 टेक रिपोर्ट में दस्तावेज़बद्ध हैं।