A Mistral lançou o Magistral Small e o Magistral Medium, seus primeiros modelos de raciocínio construídos a partir de um pipeline de aprendizado por reforço (RL) do zero, sem distilação de modelos anteriores. O Magistral Medium é treinado com base no Mistral Medium 3 usando apenas RL, enquanto o Magistral Small (24B) inclui dados de cold-start do Magistral Medium e é lançado sob a licença Apache 2.0.
- O Magistral Medium alcança um aumento de quase 50% no AIME-24 (pass@1) por meio de treinamento puro de RL.
- A equipe desenvolveu uma infraestrutura assíncrona para RL online rápido e contínuo, que atualiza os geradores frequentemente sem interrupção.
- Foi introduzida uma estratégia para forçar a cadeia de pensamento do modelo e a resposta final a serem no idioma do usuário.
- Experimentos mostram que o RL em dados de texto mantém ou melhora a compreensão multimodal, o seguimento de instruções e as capacidades de chamada de função.
O lançamento disponibiliza pesos de código aberto para o Magistral Small e detalha um framework escalável baseado em GRPO que elimina a necessidade de um modelo crítico e penalidades de divergência KL.