Mistralは、既存のモデルからの蒸留を行わず、ゼロから強化学習（RL）パイプラインを構築した初の推論モデルであるMagistral SmallとMagistral Mediumをリリースしました。Magistral MediumはMistral Medium 3の上に純粋なRLのみで学習され、Magistral Small（24B）はMagistral Mediumからのコールドスタートデータを含み、Apache 2.0ライセンスの下でオープンソース化されています。

  • Magistral Mediumは純粋なRLトレーニングによりAIME-24（pass@1）でほぼ50%の性能向上を実現しました。
  • チームは、中断せずに生成モデルを頻繁に更新する高速な継続的なオンラインRLのための非同期インフラストラクチャを開発しました。
  • モデルの思考連鎖と最終応答をユーザーの言語に強制する戦略が導入されました。
  • 実験により、テキストデータに対するRLが多モーダル理解、指示従順性、関数呼び出し能力を維持または向上させることが示されました。

今回のリリースではMagistral Smallのオープンソース重みと、クリティカルモデルやKL発散ペナルティの必要性を排除するスケーラブルなGRPOベースのフレームワークの詳細が公開されています。