अलीबाबा की Qwen टीम ने Qwen3.8-Flash-Next जारी किया है, एक ओपन-वेट मल्टीमोडल मिक्स्चर-ऑफ-एक्सपर्ट्स मॉडल जो आगामी Qwen4 सीरीज़ के लिए आर्किटेक्चर का पूर्वावलोकन प्रस्तुत करने के लिए डिज़ाइन किया गया है। चेकपॉइंट में 125B बैकबोन, 51B N-ग्राम एम्बेडिंग टेबल और 4B मल्टी-टोकन प्रिडिक्शन मॉड्यूल शामिल हैं, जिसमें प्रति टोकन केवल 6B पैरामीटर सक्रिय होते हैं।

  • आर्किटेक्चर: चार परतों में से तीन के लिए गेटेड डेल्टा नेट (लाइनर एटेंशन) और चौथी के लिए Qwen स्पार्स एटेंशन का संयोजन उपयोग करता है, साथ ही गेटेड रिजिड्यूअल स्ट्रीम्स और Muon ऑप्टिमाइज़र के साथ।
  • बेंचमार्क्स: DeepSWE 1.1 पर 58.7, SWE-bench Pro पर 62.5, LiveCodeBench v6 पर 91.9 और कोड इंटरप्रेटर के साथ MathVision पर 95.7 प्राप्त करता है।
  • दक्षता: प्रशिक्षण लागत Qwen3.7-Plus की लगभग एक-नौवीं है; सर्विंग में उच्च प्रिफ़िक्स-कैश हिट रेट्स पर प्रिफिल थ्रूपुट में 10.2x तक वृद्धि दिखाई देती है।
  • संदर्भ और भंडारण: YaRN के माध्यम से 1M तक विस्तार योग्य, मूल रूप से 262,144 टोकन का समर्थन करता है; FP8 चेकपॉइंट 172.78 GiB है, जिसके लिए मल्टी-GPU डिप्लॉयमेंट की आवश्यकता होती है।

मॉडल Qwen4 के लिए एक शुरुआती आर्किटेक्चरल पूर्वावलोकन के रूप में कार्य करता है, जो कोडिंग और तर्क बेंचमार्क्स पर प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए महत्वपूर्ण लागत कमी और गति सुधार प्रदान करता है।