Huawei опубликовала веса с открытым исходным кодом для openPangu-2.0-Pro, большой языковой модели Mixture of Experts (MoE), обученной на оборудовании Ascend. Модель имеет 505 миллиардов общих параметров и 18 миллиардов активируемых параметров, а также поддерживает длину контекста в 512k токенов.
- Общий объем данных для предварительного обучения составляет 34T токенов.
- Постобучение использует унифицированное SFT с возможностями медленного и быстрого мышления.
- Обучение включает несколько этапов специализированного RL-обучения и дистилляции on-policy, объединяющей нескольких RL-специалистов.
Технические детали модели задокументированы в техническом отчете openPangu-2.0.