Huaweiは、512Kのコンテキストウィンドウを特徴とするOpenPangu 2.0モデルシリーズのFlashバリアントをオープンソース化した。このリリースには、920億総パラメータと60億アクティブパラメータを持つモデルの重み、推論コード、およびトレーニングオペレーションが含まれる。
- OpenPangu 2.0 Flash: 総92B、アクティブ6Bパラメータ。
- OpenPangu 2.0 Pro: 総505B、アクティブ18Bパラメータ、7月にリリース予定。
- 今年後半にはさらに多くのオープンソースコンポーネントが計画されている。