Huawei a publié les poids open-source pour openPangu-2.0-Pro, un grand modèle de langage (LLM) Mixture of Experts (MoE) entraîné sur du matériel Ascend. Le modèle dispose de 505 milliards de paramètres totaux avec 18 milliards de paramètres activés et prend en charge une longueur de contexte de 512k tokens.
- Les données totales de pré-apprentissage consistent en 34T tokens.
- L'apprentissage postérieur utilise un SFT unifié avec des capacités de pensée lente et rapide.
- L'entraînement comprend plusieurs entraînements RL spécialisés et une distillation on-policy combinant plusieurs spécialistes RL.
Les détails techniques du modèle sont documentés dans le rapport technique openPangu-2.0.