Huaweiは、AscendハードウェアでトレーニングされたMixture of Experts (MoE)大規模言語モデルであるopenPangu-2.0-Proのオープンソースウェイトを公開しました。このモデルは5050億の総パラメータと180億の活性化パラメータを持ち、512kトークンのコンテキスト長をサポートします。

  • 事前トレーニングデータの合計は34Tトークンです。
  • ポストトレーニングでは、スロー思考とファスト思考の機能を持つ統一されたSFTが使用されます。
  • トレーニングには、複数のRL専門家を組み合わせたオンポリシー蒸留と、複数の専門RLトレーニングが含まれます。

モデルの詳細技術情報はopenPangu-2.0テクニカルレポートに記載されています。