शोधकर्ता UMoE का प्रस्ताव करते हैं, एक पाइपलाइन जो संपूर्ण निगरानी फाइन-ट्यूनिंग से पहले Mixture-of-Experts मॉडल के विशेषज्ञ पूल को लक्ष्य डोमेन में पुनः संरेखित करती है। विधि कम महत्वपूर्ण विशेषज्ञों को काट देती है और मूल पैरामीटर गणनाओं और इनफरेंस लागतों को बनाए रखते हुए विक्षोभ-आधारित विस्तार के माध्यम से पूल को फिर से बढ़ाती है।
- गणित, कोड, विज्ञान, टूल-उपयोग और एजेंटिक कोडिंग डोमेन में Qwen3-30B-A3B और Qwen3.5-35B-A3B आर्किटेक्चर पर परीक्षण किया गया।
- सीधे संपूर्ण निगरानी फाइन-ट्यूनिंग की तुलना में औसत गणित सटीकता में 3.4 अंक की सुधार और SWE-bench Verified पर 6.0 अंक हासिल किए।
- एक मजबूत आंतरिक गणित कॉर्पस पर औसत स्कोर को बढ़ाकर 84.17 कर दिया, जो Qwen3-30B-A3B-Thinking के 81.06 से बेहतर है।
- प्रशिक्षण डेटा के स्केल होने के रूप में दृढ़ता दिखाता है और अनावश्यक क्षमता को उपयोगी डोमेन क्षमता में बदलकर प्रशिक्षण हानि को कम करता है।
UMoE बिना प्रति-डोमेन हाइपरपैरामीटर ट्यूनिंग के कई बेंचमार्क पर प्रदर्शन में लगातार सुधार करता है, प्रभावी ढंग से उपयोग किए गए न हुए विशेषज्ञ क्षमता को लक्षित डोमेन विशेषज्ञता में बदल देता है।