SplitMoE एक वैकल्पिक मिक्स्चर ऑफ एक्सपर्ट्स आर्किटेक्चर है जो चौड़े फ़ीड-फॉरवर्ड परतों को छोटे, विशेष उप-घटकों में तोड़ता है ताकि टोकन प्रतिनिधित्व लचीलापन और कंप्यूटेशनल मॉड्यूलैरिटी को बेहतर बनाया जा सके।
- यह Mixtral जैसे मानक MoE की तुलना में अधिक बारीक ग्रैन्युलरिटी अपनाता है, जिससे टोकन विशेष पैरामीटर पथों का उपयोग करके सूक्ष्म प्रतिनिधित्व बना सकते हैं।
- दृष्टिकोण विशेषज्ञ छिपी हुई आयामों को काटता है ताकि टोकन केवल उन विशिष्ट उप-नेटवर्क को सक्रिय करें जिनकी उन्हें आवश्यकता होती है, जिससे सक्रिय पथ प्रति कम FLOPs होते हैं।
- DeepSeekMoE से अलग, SplitMoE मध्यवर्ती आयामों के across विभाजन और समूहीकरण तंत्र का अन्वेषण करता है बिना मानक स्थिर साझा मार्गों को कठोरता से थोपे।
- यह रूटिंग को हल्का रखने और भारी डिस्पैच ओवरहेड से बचने के लिए एक सरलीकृत विभाजन रणनीति पर ध्यान केंद्रित करता है।
लेखक बेंचमार्किंग के लिए एक मॉड्यूलर PyTorch कार्यान्वयन प्रदान करते हैं और रूटिंग स्थिरता और स्केलिंग व्यवहार पर प्रतिक्रिया आमंत्रित करते हैं।