Huawei открыла исходный код Flash-варианта своей серии моделей OpenPangu 2.0, которая поддерживает контекстное окно размером 512K. В релиз включены веса, код для инференса и операции обучения для модели, содержащей 92 миллиарда общих параметров и 6 миллиардов активных.
- OpenPangu 2.0 Flash: 92B общих, 6B активных параметров.
- OpenPangu 2.0 Pro: 505B общих, 18B активных параметров, запланирован релиз в июле.
- Больше компонентов с открытым исходным кодом планируется выпустить во второй половине этого года.