अलibaba की Qwen टीम ने जुलाई 2025 में Qwen3-Coder-480B-A35B-Instruct जारी किया, जो एक 480 अरब पैरामीटर वाला Mixture-of-Experts मॉडल है जो प्रत्येक इनफरेंस के दौरान केवल 35 अरब पैरामीटर सक्रिय करता है। यह Claude Sonnet 4 और GPT-4 के बराबर कोडिंग प्रदर्शन प्राप्त करता है, और Apache 2.0 लाइसेंस के तहत पूरी तरह से ओपन-सोर्स है।
- मॉडल 62 ट्रान्सफॉर्मर परतों वाले 160 विशेषज्ञ नेटवर्क का उपयोग करता है, जिसमें डीबगिंग और दस्तावेज़ ब्राउज़िंग सहित स्वतंत्र बहु-चरण समस्या समाधान सक्षम होता है।
- 20,000 समानांतर वातावरण में निष्पादन-आधारित और लंबे समय तक चलने वाले प्रशिक्षण (long-horizon reinforcement learning) का उपयोग करके 7.5 ट्रिलियन टोकन पर प्रशिक्षित किया गया।
- इसमें YaRN के माध्यम से 1 मिलियन टोकन तक बढ़ाया जा सकने वाला नेटिव 256,000-टोकन संदर्भ खिड़की है।
- SWE-Bench पर 55.40% सफलता दर प्राप्त की और 358 प्रोग्रामिंग भाषाओं का समर्थन करता है।
ओपन रिलीज असीमित व्यावसायिक उपयोग और स्व-होस्टिंग (self-hosting) की अनुमति देती है, इंजीनियरिंग टीमों को प्रोप्राइटरी API लागतों के लिए एक वैकल्पिक प्रदान करती है।