华为已开源其 OpenPangu 2.0 模型系列的 Flash 变体，该系列支持 512K 上下文窗口。此次发布包含权重、推理代码以及针对包含 920 亿总参数和 60 亿激活参数的模型的训练操作。

  • OpenPangu 2.0 Flash：92B 总参数量，6B 激活参数量。
  • OpenPangu 2.0 Pro：505B 总参数量，18B 激活参数量，计划于七月发布。
  • 今年晚些时候还将有更多开源组件。