أصدرت هواوي الأوزان مفتوحة المصدر لنموذج openPangu-2.0-Pro، وهو نموذج لغوي كبير (LLM) من نوع Mixture of Experts (MoE) تم تدريبه على عتاد Ascend. يحتوي النموذج على 505 مليار معامل إجمالي مع 18 مليار معامل مُفعّل ويدعم طول سياق يبلغ 512k رمزًا.

  • تتكون بيانات التدريب المسبق الإجمالية من 34T رمزًا.
  • يستخدم التدريب اللاحق SFT موحدًا مع قدرات التفكير البطيء والسريع.
  • يشمل التدريب تدريب RL متعدد المتخصصين وتقطير on-policy يجمع بين عدة متخصصين في RL.

تم توثيق التفاصيل التقنية للنموذج في التقرير الفني openPangu-2.0.