Mistral ha lanzado Magistral Small y Magistral Medium, sus primeros modelos de razonamiento construidos desde cero mediante una canalización de aprendizaje por refuerzo (RL) sin destilación de modelos anteriores. Magistral Medium se entrena sobre Mistral Medium 3 utilizando únicamente RL, mientras que Magistral Small (24B) incluye datos de inicio en frío de Magistral Medium y se publica con código abierto bajo la licencia Apache 2.0.

  • Magistral Medium logra un aumento de casi el 50% en AIME-24 (pass@1) mediante entrenamiento puro de RL.
  • El equipo desarrolló una infraestructura asíncrona para un RL en línea rápido y continuo que actualiza los generadores con frecuencia sin interrupciones.
  • Se introdujo una estrategia para forzar la cadena de pensamiento del modelo y la respuesta final al idioma del usuario.
  • Los experimentos muestran que el RL sobre datos de texto mantiene o mejora la comprensión multimodal, el seguimiento de instrucciones y las capacidades de llamada a funciones.

El lanzamiento proporciona pesos de código abierto para Magistral Small y detalla un marco escalable basado en GRPO que elimina la necesidad de un modelo crítico y penalizaciones de divergencia KL.