Ascend Tribe, 6B 활성화 파라미터를 가진 92B MoE 모델 openPangu-2.0-Flash 출시

Ascend Tribe는 Ascend 하드웨어에서 훈련된 Mixture of Experts (MoE) 대규모 언어 모델인 openPangu-2.0-Flash를 출시했습니다. 이 모델은 총 920억 개의 파라미터를 가지며 토큰당 60억 개가 활성화되고 512k 토큰의 컨텍스트 길이를 지원합니다.

• 총 사전 훈련 데이터는 34조 개의 토큰으로 구성됩니다.
• 사후 훈련에는 느린 사고와 빠른 사고 능력을 위한 통합 SFT가 포함됩니다.
• 훈련은 여러 RL 전문가를 결합한 온-policy 증류와 여러 전문 RL 훈련을 활용합니다.

이 모델은 현재 GitCode를 통해 사용 가능하지만 아직 Huggingface에 업로드되지 않았습니다.