Ascend Tribe lança openPangu-2.0-Flash, um modelo MoE de 92B com 6B parâmetros ativados

A Ascend Tribe lançou o openPangu-2.0-Flash, um modelo de linguagem grande (LLM) Mixture of Experts (MoE) treinado em hardware Ascend. O modelo possui 92 bilhões de parâmetros totais com 6 bilhões ativados por token e suporta um comprimento de contexto de 512k tokens.

• Os dados totais de pré-treinamento consistem em 34 trilhões de tokens.
• O pós-treinamento inclui SFT unificado para capacidades de pensamento lento e rápido.
• O treinamento utiliza múltiplos especialistas de treinamento RL e destilação on-policy combinando vários especialistas RL.

O modelo está atualmente disponível via GitCode, embora ainda não tenha sido carregado no Huggingface.