Huawei는 512K 컨텍스트 창을 특징으로 하는 OpenPangu 2.0 모델 시리즈의 Flash 변형을 오픈소스화했습니다. 이 릴리스에는 총 920억 개의 파라미터와 60억 개의 활성 파라미터를 가진 모델의 가중치, 추론 코드 및 학습 작업이 포함됩니다.
- OpenPangu 2.0 Flash: 총 92B, 활성 6B 파라미터.
- OpenPangu 2.0 Pro: 총 505B, 활성 18B 파라미터, 7월 출시 예정.
- 올해 후반에 더 많은 오픈소스 컴포넌트가 계획되어 있습니다.