Mistral telah merilis Magistral Small dan Magistral Medium, model penalaran pertamanya yang dibangun menggunakan pipa pembelajaran penguatan (RL) dari awal tanpa distilasi dari model sebelumnya. Magistral Medium dilatih di atas Mistral Medium 3 hanya dengan menggunakan RL, sedangkan Magistral Small (24B) mencakup data cold-start dari Magistral Medium dan dirilis secara open-source di bawah lisensi Apache 2.0.

  • Magistral Medium mencapai peningkatan hampir 50% pada AIME-24 (pass@1) melalui pelatihan RL murni.
  • Tim mengembangkan infrastruktur asinkron untuk RL online cepat dan berkelanjutan yang memperbarui generator secara sering tanpa gangguan.
  • Sebuah strategi diperkenalkan untuk memaksa rantai-pemikiran dan respons akhir model ke dalam bahasa pengguna.
  • Eksperimen menunjukkan bahwa RL pada data teks mempertahankan atau meningkatkan pemahaman multimodal, penurutan instruksi, dan kemampuan pemanggilan fungsi.

Rilis ini menyediakan bobot open-source untuk Magistral Small dan merinci kerangka kerja berbasis GRPO yang dapat diskalakan yang menghilangkan kebutuhan akan model kritikus dan hukuman divergensi KL.