अलिबाबा ने Qwen2.5 तकनीकी रिपोर्ट जारी की है, जिसमें प्री-ट्रेनिंग और पोस्ट-ट्रेनिंग दोनों चरणों में महत्वपूर्ण सुधारों के साथ बड़े भाषा मॉडलओं की एक व्यापक श्रृंखला का परिचय दिया गया है। अपडेट उच्च-गुणवत्ता वाले प्री-ट्रेनिंग डेटासेट को 7 ट्रिलियन से 18 ट्रिलियन टोकन तक बढ़ाता है और 1 मिलियन से अधिक नमूनों के साथ जटिल सुपरवाइज्ड फाइनट्यूनिंग और मल्टीस्टेज रीइंफोर्समेंट लर्निंग को लागू करता है।
- ओपन-वेइट ऑफरिंग्स में बेस और इन्सٹرक्शन-ट्यूंड मॉडल शामिल हैं, जिनके क्वांटाइज्ड संस्करण उपलब्ध हैं।
- प्रोप्राइटरी होस्टेड समाधान दो मिक्सचर-ऑफ-एक्सपर्ट्स वेरिएंट प्रस्तुत करते हैं: Qwen2.5-Turbo और Qwen2.5-Plus।
- फ्लैगशिप Qwen2.5-72B-Instruct कई ओपन और प्रोप्राइटरी मॉडल से बेहतर प्रदर्शन करता है, जो Llama-3-405B-Instruct के साथ प्रतिस्पर्धी प्रदर्शन दिखाता है।
- Qwen2.5-Turbo और Qwen2.5-Plus GPT-4o-mini और GPT-4o के साथ क्रमशः प्रतिस्पर्धी प्रदर्शन करते हुए श्रेष्ठ लागत-प्रभावकारिता प्रदान करते हैं।
ये सुधार सामान्य ज्ञान, विशेषज्ञ ज्ञान और तर्क क्षमताओं के लिए एक मजबूत आधार प्रदान करते हैं, जबकि पोस्ट-ट्रेनिंग तकनीकें लंबे पाठ उत्पादन, संरचनात्मक डेटा विश्लेषण और इन्सٹرक्शन फॉलोइंग को उल्लेखनीय रूप से सुधारती हैं।