أطلقت Ascend Tribe نموذج openPangu-2.0-Flash، وهو نموذج لغوي كبير (LLM) من نوع Mixture of Experts (MoE) تم تدريبه على عتاد Ascend. يحتوي النموذج على إجمالي 92 مليار معلمة مع تفعيل 6 مليارات لكل توكن ويدعم طول سياق يصل إلى 512k توكن.
- تتكون بيانات التدريب المسبق الإجمالية من 34 تريليون توكن.
- يتضمن التدريب اللاحق SFT موحدًا لقدرات التفكير البطيء والسريع.
- يستخدم التدريب تدريب RL متعدد المتخصصين وتقطير on-policy يجمع بين عدة متخصصي RL.
النموذج متاح حاليًا عبر GitCode، على الرغم من أنه لم يتم تحميله بعد إلى Huggingface.