يقترح الباحثون UMoE، وهو خط أنابيب يعيد ضبط مجموعة خبراء نماذج Mixture-of-Experts نحو قطاع مستهدف قبل الضبط الدقيق الخاضع للإشراف. تقوم الطريقة بقص الخبراء ذوي الأهمية المنخفضة وإعادة نمو المجموعة عبر التوسع القائم على التشويش مع الحفاظ على عدد المعلمات الأصلي وتكاليف الاستنتاج.
- تم الاختبار على هياكل Qwen3-30B-A3B وQwen3.5-35B-A3B عبر قطاعات الرياضيات، والبرمجة، والعلوم، واستخدام الأدوات، والبرمجة الوكيلية.
- حققت تحسناً بمقدار 3.4 نقطة في متوسط دقة الرياضيات و6.0 نقاط على SWE-bench Verified مقارنة بالضبط الدقيق الخاضع للإشراف المباشر.
- رفعت متوسط النتيجة على مجموعة بيانات رياضية داخلية قوية إلى 84.17، متفوقةً على نتيجة Qwen3-30B-A3B-Thinking البالغة 81.06.
- أظهرت متانة مع توسع بيانات التدريب وخفضت فقدان التدريب عن طريق تحويل السعة الزائدة إلى سعة قطاع مفيدة.
يحسن UMoE الأداء بشكل متسق عبر معايير متعددة دون ضبط فرعي للقطاع، محولاً بفعالية سعة الخبراء غير المستخدمة إلى خبرة قطاع مستهدفة.