मिस्ट्रल ने मैजिस्ट्रल स्मॉल और मैजिस्ट्रल मिडियम जारी किए हैं, जो पूर्व मॉडलों से डिस्टिलेशन के बिना एक ज़मीन से ऊपर रीइंफोर्समेंट लर्निंग (RL) पाइपलाइन का उपयोग करके बनाए गए उनके पहले रीज़निंग मॉडल हैं। मैजिस्ट्रल मिडियम को केवल RL का उपयोग करके मिस्ट्रल मिडियम 3 के ऊपर ट्रेन किया गया है, जबकि मैजिस्ट्रल स्मॉल (24B) में मैजिस्ट्रल मिडियम से कॉल्ड-स्टार्ट डेटा शामिल है और यह Apache 2.0 लाइसेंस के तहत ओपन-सोर्स किया गया है।
- मैजिस्ट्रल मिडियम शुद्ध RL ट्रेनिंग के माध्यम से AIME-24 (pass@1) में लगभग 50% की वृद्धि हासिल करता है।
- टीम ने तेज़, निरंतर ऑनलाइन RL के लिए एक असिंक्रोनस इंफ्रास्ट्रक्चर विकसित किया जो बिना किसी रुकावट के जनरेटर को बार-बार अपडेट करता है।
- मॉडल की चेन-ऑफ़-थॉट और अंतिम प्रतिक्रिया को उपयोगकर्ता की भाषा में लाने के लिए एक रणनीति पेश की गई।
- प्रयोगों से पता चलता है कि टेक्स्ट डेटा पर RL मल्टीमोडल समझ, निर्देश अनुसरण और फंक्शन कॉलिंग क्षमताओं को बनाए रखता या सुधारता है।
रिलीज़ में मैजिस्ट्रल स्मॉल के लिए ओपन-सोर्स वेट्स प्रदान किए गए हैं और एक स्केलेबल GRPO-आधारित फ्रेमवर्क का विवरण दिया गया है जो क्रिटिक मॉडल और KL डायवर्जेंस पेनल्टी की आवश्यकता को समाप्त करता है।