Qwen3 तकनीकी रिपोर्ट में 0.6 से 235 अरब पैरामीटर तक के खुले-वजन वाले बड़े भाषा मॉडल (LLMs) की एक नई श्रृंखला का परिचय दिया गया है, जिसमें घन और मिश्रण-ऑफ-एक्सपर्ट्स आर्किटेक्चर दोनों शामिल हैं। एक प्रमुख नवाचार जटिल तर्क के लिए "चिंतन मोड" और तेज़ प्रतिक्रियाओं के लिए "अचिंतन मोड" को एकल फ्रेमवर्क में एकीकृत करना है, जिससे मॉडल बदले बिना गतिशील स्विचिंग संभव होती है।
- फ्लैगशिप Qwen3-235B-A22B मॉडल प्रदर्शन और इनफरेंस दक्षता के बीच संतुलन बनाए रखने के लिए प्रति टोकन 22 अरब सक्रिय पैरामीटर का उपयोग करता है।
- बहुभाषी समर्थन 29 से बढ़कर 119 भाषाओं और बोलियों तक विस्तारित हो गया है, जिसमें पिछले Qwen मॉडल द्वारा उत्पन्न सिंथेटिक डेटा सहित 36 ट्रिलियन टोकन पर प्रशिक्षण दिया गया है।
- इस श्रृंखला में इनफरेंस के दौरान अनुकूलन कंप्यूटेशनल संसाधन आवंटन के लिए एक "चिंतन बजट" तंत्र लागू किया गया है।
- पोस्ट-ट्रेनिंग में मॉडलों को मानवीय प्राथमिकताओं के साथ अनुनादित करने के लिए बहु-चरण पुनर्बल सीखने और शक्तिशाली से कमजोर विसंवाद (distillation) का उपयोग किया गया है।
लेखकों का मानना है कि ये उन्नतताएं महत्वपूर्ण हैं क्योंकि वे स्वामित्व वाले मॉडलों के प्रति स्पर्धात्मक प्रदर्शन सक्षम बनाती हैं, साथ ही उपयोगकर्ताओं को तर्क प्रयास और विलंबता पर सूक्ष्म नियंत्रण प्रदान करती हैं।