Ascend Tribe ने openPangu-2.0-Flash जारी किया है, जो Ascend हार्डवेयर पर प्रशिक्षित एक मिक्स्चर ऑफ एक्सपर्ट्स (MoE) बड़ा भाषा मॉडल (LLM) है। इस मॉडल में 92 अरब कुल पैरामीटर हैं, जिनमें से प्रति टोकन 6 अरब सक्रिय होते हैं और यह 512k टोकन के संदर्भ लंबाई का समर्थन करता है।
- कुल पूर्व-प्रशिक्षण डेटा में 34 खरब टोकन शामिल हैं।
- पोस्ट-प्रशिक्षण में धीमे और तेज विचारशीलता क्षमताओं के लिए एकीकृत SFT शामिल है।
- प्रशिक्षण में कई विशेषज्ञ RL प्रशिक्षण और कई RL विशेषज्ञों को जोड़ने वाली ऑन-पोलिसी डिस्टिलेशन का उपयोग किया जाता है।
मॉडल वर्तमान में GitCode के माध्यम से उपलब्ध है, हालांकि इसे अभी तक Huggingface पर अपलोड नहीं किया गया है।