Mistral 推出具有可扩展强化学习管道的 Magistral 推理模型

Mistral 发布了 Magistral Small 和 Magistral Medium，这是其首批采用从头构建的强化学习（RL）管道、无需从先前模型蒸馏的推理模型。Magistral Medium 仅使用 RL 在 Mistral Medium 3 之上进行训练，而 Magistral Small（24B）包含来自 Magistral Medium 的冷启动数据，并以 Apache 2.0 许可证开源。

Magistral Medium 通过纯 RL 训练在 AIME-24（pass@1）上实现了近 50% 的提升。
团队开发了一种异步基础设施，用于快速、持续的在线 RL，能够频繁更新生成器而无需中断。
引入了一种策略，强制模型的思维链和最终回复使用用户的语言。
实验表明，在文本数据上的 RL 保持或提升了多模态理解、指令遵循和功能调用能力。

此次发布提供了 Magistral Small 的开源权重，并详细介绍了一个可扩展的基于 GRPO 的框架，该框架消除了对 critic 模型和 KL 散度惩罚的需求。

Benchmarks