Mistral, 확장 가능한 RL 파이프라인을 갖춘 Magistral 추론 모델 출시

Mistral은 기존 모델의 증류(distillation) 없이 처음부터 강화 학습(RL) 파이프라인을 사용해 구축한 첫 번째 추론 모델인 Magistral Small과 Magistral Medium을 출시했습니다. Magistral Medium은 Mistral Medium 3 위에 RL만 사용해 훈련되었으며, Magistral Small(24B)은 Magistral Medium의 콜드 스타트 데이터를 포함하고 Apache 2.0 라이선스 하에 오픈소스로 공개됩니다.

• Magistral Medium은 순수 RL 훈련을 통해 AIME-24(pass@1)에서 약 50%의 성능 향상을 달성했습니다.
• 팀은 중단 없이 생성기를 자주 업데이트할 수 있는 빠르고 지속적인 온라인 RL을 위한 비동기 인프라를 개발했습니다.
• 모델의 사고 과정(chain-of-thought)과 최종 응답을 사용자의 언어로 강제하는 전략이 도입되었습니다.
• 실험 결과, 텍스트 데이터에 대한 RL은 다중 모달 이해, 지시 따르기, 함수 호출 능력을 유지하거나 향상시키는 것으로 나타났습니다.

이번 출시에서는 Magistral Small의 오픈소스 가중치와 비평 모델(critic model)과 KL 발산 패널티(KL divergence penalties)의 필요성을 제거하는 확장 가능한 GRPO 기반 프레임워크에 대한 세부 정보가 제공됩니다.