Ascend Tribe a publié openPangu-2.0-Flash, un grand modèle de langage (LLM) à experts multiples (MoE) entraîné sur du matériel Ascend. Le modèle dispose de 92 milliards de paramètres au total, avec 6 milliards activés par token et prend en charge une longueur de contexte de 512k tokens.

  • Les données totales de pré-entraînement consistent en 34 billions de tokens.
  • L'entraînement post-inclusion inclut un SFT unifié pour les capacités de réflexion lente et rapide.
  • L'entraînement utilise plusieurs spécialisations RL et la distillation on-policy combinant plusieurs spécialistes RL.

Le modèle est actuellement disponible via GitCode, bien qu'il n'ait pas encore été téléchargé sur Huggingface.