arxiv Moonshot AI (arXiv) · منذ 755 يوم

فريق Qwen يُصدر سلسلة Qwen2 بنماذج كثيفة و MoE بحجم 72 مليار

مُترجم من English → العربية

أصدر فريق Qwen التقرير التقني الخاص بـ Qwen2، مقدمًا سلسلة جديدة من نماذج اللغة الكبيرة تتراوح بين 0.5 إلى 72 مليار معلمة، بما في ذلك كل من البنى الكثيفة (Dense) و Mixture-of-Experts (MoE).

حقق النموذج الأساسي الرائد Qwen2-72B نتائج بـ 84.2 على MMLU، و 89.5 على GSM8K، و 64.6 على HumanEval.
وصلت النسخة المُعدّلة بالتعليمات Qwen2-72B-Instruct إلى 9.1 على MT-Bench و 35.7 على LiveCodeBench.
تم تدريب النماذج على أكثر من 7 تريليون توكن وتدعم حوالي 30 لغة.
الأوزان متاحة بشكل مفتوح على Hugging Face و ModelScope للاستخدام المجتمعي.

يهدف هذا الإصدار إلى توفير نماذج أساسية عالية الأداء تتنافس مع الأنظمة المملوكة، مع الحفاظ على إمكانية الوصول إليها للأبحاث والنشر.

الأهمية 3/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Benchmarks

Benchmark	النموذج	الدرجة
GPQA Diamond	Qwen2-72B	37.9%
LiveCodeBench	Qwen2-72B-Instruct	35.7%
GSM8K	Qwen2-72B	89.5%
MMLU	Qwen2-72B	84.2%
BIG-Bench Hard	Qwen2-72B	82.4%
HumanEval	Qwen2-72B	64.6%

قراءة الأصل

مقالات ذات صلة

arxiv Moonshot AI (arXiv) · منذ 452 يوم

Qwen3 يُدخل وضع التفكير الموحد ويوسع الدعم متعدد اللغات إلى 119 لغة

يقدم تقرير Qwen3 التقني أحدث إصدار من عائلة نماذج Qwen، والذي يتميز ببنيتين كثيفة ومزيج من الخبراء (MoE) مع مقاييس معاملية تتراوح من 0.6 إلى 235 مليار. وتتمثل إحدى الابتكارات الرئيسية في دمج وضع التفكير للاستدلال المعقد ووضع عدم التفكير للاستجابات السريعة ضمن إطار موحد، مما يلغي الحاجة إلى التبديل بين نماذج مختلفة.

arxiv Moonshot AI (arXiv) · منذ 452 يوم · مشاهدتان

Qwen3 يُدخل وضع التفكير الموحد ودعمًا لـ 119 لغة

يقدم تقرير Qwen3 التقني سلسلة جديدة من نماذج اللغة الكبيرة ذات الأوزان المفتوحة تتراوح بين 0.6 و235 مليار معامل، وتتميز ببنيتين كثيفة ومزيج من الخبراء. تتمثل إحدى الابتكارات الرئيسية في دمج "وضع التفكير" للاستدلال المعقد و"وضع عدم التفكير" للاستجابات السريعة داخل إطار عمل واحد، مما يسمح بالتبديل الديناميكي دون الحاجة إلى تبديل النماذج.

arxiv Moonshot AI (arXiv) · منذ 598 يوم

Qwen2.5 يقدم نماذج كثيفة ونماذج MoE مع 18 تريليون رمز للتدريب المسبق

يُفصّل التقرير التقني لـ Qwen2.5 إصدار سلسلة شاملة من نماذج اللغة الكبيرة التي تجمع بين المتغيرات الكثيفة مفتوحة الوزن والنماذج الخاصة من نوع مزيج الخبراء (MoE). يؤدي التحديث إلى توسيع نطاق بيانات التدريب المسبق بشكل كبير من 7 تريليون إلى 18 تريليون رمز، ويستخدم أكثر من مليون عينة للتدريب اللاحق عبر الضبط الدقيق الخاضع للإشراف والتعلم التعزيزي.

arxiv Moonshot AI (arXiv) · منذ 598 يوم

Qwen2.5 يوسع التدريب المسبق إلى 18 تريليون رمز ويستخدم التعلم المعزز متعدد المراحل

أصدرت علي بابا التقرير الفني الخاص بـ Qwen2.5، مقدّمةً سلسلة شاملة من نماذج اللغة الكبيرة مع تحسينات كبيرة في كل من مرحلتي التدريب المسبق والتدريب اللاحق. يمتد التحديث مجموعات بيانات التدريب المسبق عالية الجودة من 7 تريليون إلى 18 تريليون رمز، وينفّذ ضبطًا دقيقًا للإشراف المعقّد بأكثر من مليون عيّنة جنبًا إلى جنب مع التعلم المعزز متعدد المراحل.

arxiv Moonshot AI (arXiv) · منذ 755 يوم

تقرير Qwen2 التقني يقدم نماذج كثيفة ونماذج MoE تصل إلى 72 مليار معلمة

يقدم تقرير Qwen2 التقني سلسلة Qwen2، وهي مجموعة جديدة من النماذج اللغوية الكبيرة والمتعددة الوسائط الأساسية والمضبوطة للتعليمات، تتراوح بين 0.5 و72 مليار معلمة. يتضمن هذا الإصدار كلًا من البنى الكثيفة ونموذج مزيج الخبراء (Mixture-of-Experts)، حيث يُظهر النموذج الرائد Qwen2-72B أداءً تنافسيًا مقابل النماذج الخاصة عبر معايير تقييم مختلفة.