Ascend Tribe 发布 openPangu-2.0-Flash，一款拥有 6B 激活参数的 92B MoE 模型

Ascend Tribe 发布了 openPangu-2.0-Flash，这是一款在 Ascend 硬件上训练的组合专家（MoE）大型语言模型。该模型拥有 920 亿总参数，每个 token 激活 60 亿参数，并支持 512k token 的上下文长度。

• 预训练数据总量为 34 万亿个 token。
• 后训练包括用于慢思考和快思考能力的统一 SFT。
• 训练利用多种专家 RL 训练和结合多个 RL 专家的 on-policy 蒸馏。

该模型目前可通过 GitCode 获取，但尚未上传至 Huggingface。