Mistral a publié Magistral Small et Magistral Medium, ses premiers modèles de raisonnement construits à partir d'un pipeline d'apprentissage par renforcement (RL) complet, sans distillation à partir de modèles antérieurs. Magistral Medium est entraîné sur la base de Mistral Medium 3 en utilisant uniquement le RL, tandis que Magistral Small (24B) inclut des données de démarrage à froid issues de Magistral Medium et est open-sourcé sous la licence Apache 2.0.

  • Magistral Medium obtient une augmentation de près de 50 % sur AIME-24 (pass@1) grâce à un entraînement par RL pur.
  • L'équipe a développé une infrastructure asynchrone pour un RL en ligne rapide et continu, qui met à jour fréquemment les générateurs sans interruption.
  • Une stratégie a été introduite pour forcer la chaîne de pensée du modèle et sa réponse finale dans la langue de l'utilisateur.
  • Les expériences montrent que le RL sur des données textuelles maintient ou améliore la compréhension multimodale, le suivi des instructions et les capacités d'appel de fonctions.

La publication fournit les poids open-source pour Magistral Small et détaille un framework évolutif basé sur GRPO qui élimine le besoin d'un modèle critique et des pénalités de divergence KL.