Ascend Tribe выпустила openPangu-2.0-Flash, большую языковую модель (LLM) типа Mixture of Experts (MoE), обученную на оборудовании Ascend. Модель имеет 92 миллиарда общих параметров с 6 миллиардами активированных на токен и поддерживает длину контекста в 512k токенов.
- Общий объем данных для предварительного обучения составляет 34 триллиона токенов.
- Постобучение включает унифицированное SFT для медленного и быстрого мышления.
- Обучение использует несколько специалистов RL-тренинга и дистилляцию on-policy, объединяющую нескольких RL-специалистов.
Модель в настоящее время доступна через GitCode, хотя она еще не загружена на Huggingface.