Mistral выпустила Magistral Small и Magistral Medium, свои первые модели рассуждений, созданные с нуля с использованием конвейера обучения с подкреплением (RL) без дистилляции от предыдущих моделей. Magistral Medium обучена поверх Mistral Medium 3 исключительно с помощью RL, тогда как Magistral Small (24B) включает данные для холодного старта из Magistral Medium и распространяется по лицензии Apache 2.0.

  • Magistral Medium демонстрирует почти 50% прирост в AIME-24 (pass@1) благодаря обучению исключительно на RL.
  • Команда разработала асинхронную инфраструктуру для быстрого, непрерывного онлайн-RL, которая часто обновляет генераторы без прерываний.
  • Была предложена стратегия принудительного перевода цепочки рассуждений модели и итогового ответа на язык пользователя.
  • Эксперименты показывают, что RL на текстовых данных сохраняет или улучшает мультимодальное понимание, следование инструкциям и вызов функций.

В релизе предоставлены веса с открытым исходным кодом для Magistral Small и описана масштабируемая основа на базе GRPO, устраняющая необходимость в модели критика и штрафах расхождения Кульбака-Лейблера.