Ascend Tribe lanza openPangu-2.0-Flash, un modelo MoE de 92B con 6B parámetros activados

Ascend Tribe ha lanzado openPangu-2.0-Flash, un modelo de lenguaje grande (LLM) Mixture of Experts (MoE) entrenado en hardware Ascend. El modelo cuenta con 92 mil millones de parámetros totales con 6 mil millones activados por token y soporta una longitud de contexto de 512k tokens.

• Los datos totales de preentrenamiento consisten en 34 billones de tokens.
• El post-entrenamiento incluye SFT unificado para capacidades de pensamiento lento y rápido.
• El entrenamiento utiliza múltiples especialistas en entrenamiento RL y destilación on-policy combinando varios especialistas RL.

El modelo está actualmente disponible a través de GitCode, aunque aún no se ha subido a Huggingface.