Ascend Tribeは、Ascendハードウェア上でトレーニングされたMixture of Experts (MoE) 大規模言語モデルであるopenPangu-2.0-Flashをリリースしました。このモデルは920億の総パラメータを持ち、トークンごとに60億が活性化され、512kトークンのコンテキスト長をサポートします。

  • 事前トレーニングデータは合計34兆トークンで構成されています。
  • ポストトレーニングには、スロー思考とファスト思考の両方の能力のための統合SFTが含まれます。
  • トレーニングは、複数のRLスペシャリストを組み合わせたオンポリシー蒸留を用いた複数の専門的RLトレーニングを利用しています。

このモデルは現在GitCode経由で利用可能ですが、Huggingfaceにはまだアップロードされていません。