华为发布了 openPangu-2.0-Pro 的开源权重，这是一款在 Ascend 硬件上训练的大型语言模型（MoE）。该模型具有 5050 亿总参数和 180 亿激活参数，支持 512k token 的上下文长度。

  • 预训练数据总量为 34T token。
  • 后训练利用统一的 SFT，具备慢思考和快思考能力。
  • 训练包括多种专家 RL 训练和结合多个 RL 专家的在线策略蒸馏。

该模型的技术细节记录在 openPangu-2.0 技术报告中。