मिनिमैक्स ने दुनिया का पहला ओपन-वेट बड़े पैमाने पर हाइब्रिड-एटेंशन तर्क मॉडल मिनिमैक्स-M1 जारी किया है। मिनिमैक्स-Text-01 आर्किटेक्चर पर बनाया गया, यह टेस्ट-टाइम कंप्यूट के दक्ष स्केलिंग को सक्षम बनाने के लिए एक्सपर्ट्स के मिश्रण डिज़ाइन और लाइटनिंग एटेंशन तंत्र को जोड़ता है।
- मॉडल में 456 अरब पैरामीटर हैं, जिनमें से प्रति टोकन 45.9 अरब सक्रिय होते हैं और यह 1 मिलियन टोकन की नेटिव संदर्भ लंबाई का समर्थन करता है।
- यह 100K टोकन के जनरेशन लंबाई पर DeepSeek R1 के FLOPs का लगभग 25% खपत करता है।
- प्रशिक्षण में CISPO नामक एक नया RL एल्गोरिदम उपयोग किया गया, जो प्रशिक्षण को स्थिर करने और दक्षता बढ़ाने के लिए महत्वता सैंपलिंग वजन को क्लिप करता है।
- 512 H800 GPU पर पूर्ण RL प्रशिक्षण तीन सप्ताह में पूरा हुआ, जिसका किराया खर्च $534,700 था।
- 40K और 80K सोचने की सीमा के साथ दो संस्करण जारी किए गए हैं, जो जटिल कार्यों पर DeepSeek-R1 और Qwen3-235B के तुलनीय या श्रेष्ठ प्रदर्शन दिखाते हैं।
टेस्ट-टाइम कंप्यूट का दक्ष स्केलिंग मिनिमैक्स-M1 को लंबे इनपुट और व्यापक तर्क की आवश्यकता वाले जटिल कार्यों के लिए विशेष रूप से उपयुक्त बनाता है।