अलिबाबा क्लाउड ने Qwen2.5 सीरीज के डिकोडर-ओनली घन भाषा मॉडल ओपन-सोर्स किए हैं, जिसमें मौजूदा 0.5B से 72B पैरामीटर तक की रेंज में तीन नए आकार (3B, 14B, और 32B) जोड़े गए हैं। इस अपडेट ने प्री-ट्रेनिंग डेटासेट को 7 ट्रिलियन से बढ़ाकर 18 ट्रिलियन टोकन कर दिया है और Qwen2.5-Coder व Qwen-math से तकनीकी ब्रेकथ्रू को एकीकृत किया है, जिससे कोडिंग, गणित और सामान्य ज्ञान में प्रदर्शन में उल्लेखनीय सुधार हुआ है।

  • Qwen2.5-32B मॉडल Qwen2-72B से बेहतर प्रदर्शन करता है, जबकि Qwen2.5-14B व्यापक मूल्यांकन में Qwen2-57B-A14B को पछाड़ता है।
  • MMLU बेंचमार्क पर ज्ञान में सुधार स्पष्ट है, जहाँ Qwen2.5-7B/72B के स्कोर क्रमशः 70.3 से 74.2 और 84.2 से 86.1 तक बढ़ गए हैं।
  • कोडिंग क्षमताओं में काफी सुधार हुआ है, जहाँ Qwen2.5-72B-Instruct ने LiveCodeBench पर 55.5 और MBPP पर 88.2 हासिल किए हैं।
  • गणितीय क्षमता में उल्लेखनीय वृद्धि हुई है, जिससे Qwen2.5-7B/72B-Instruct के MATH बेंचमार्क स्कोर 52.9/69.0 से बढ़कर 75.5/83.1 हो गए हैं।
  • मानव प्राथमिकता अनुनाम में सुधार हुआ है, जहाँ Qwen2.5-72B-Instruct के Arena-Hard स्कोर 48.1 से बढ़कर 81.1 हो गए हैं।
  • संदर्भ लंबाई समर्थन 128K टोकन तक विस्तारित है, और अधिकांश मॉडल Apache 2.0 के तहत लाइसेंस प्राप्त हैं।

यह रिलीज 10-30B रेंज में लागत-प्रभावी उत्पादन मॉडल और मोबाइल-अनुकूलित 3B मॉडल की उपयोगकर्ता मांग को पूरा करती है, जो बड़े प्रोप्राइटरी सिस्टम के बराबर या उससे बेहतर प्रतिस्पर्धी ओपन-सोर्स विकल्प प्रदान करता है।