Ascend Tribe telah merilis openPangu-2.0-Flash, sebuah model bahasa besar (LLM) Mixture of Experts (MoE) yang dilatih pada perangkat keras Ascend. Model ini memiliki total 92 miliar parameter dengan 6 miliar diaktifkan per token dan mendukung panjang konteks hingga 512k token.

  • Total data pra-pelatihan terdiri dari 34 triliun token.
  • Pasca-pelatihan mencakup SFT terpadu untuk kemampuan berpikir lambat dan cepat.
  • Pelatihan menggunakan beberapa spesialis RL dan distilasi on-policy yang menggabungkan berbagai spesialis RL.

Model ini saat ini tersedia melalui GitCode, meskipun belum diunggah ke Huggingface.