शोधकर्ता MAESTRO पेश करते हैं, जो स्पार्सली-एक्टिवेटेड मिक्स्चर-ऑफ़-एक्सपर्ट्स (MoE) लैंग्वेज मॉडल्स के लिए एक स्ट्रक्चर्ड प्रूनिंग फ्रेमवर्क है जो पूर्ण एक्सपर्ट बैंकों की मेमोरी बॉटलनेक को संबोधित करता है। विधि ऑटोरेग्रेसिव एक्सपर्ट एक्टिवेशन ट्राजेक्ट्रीज़ को एर्गोडिक मार्कोव चेन के रूप में मॉडल करता है ताकि क्रॉस-लेयर निर्भरताओं को कैप्चर किया जा सके, जिससे एक ग्लोबली अवधारित महत्व हेयुरिस्टिक प्रदान होता है।
- MAESTRO स्थानीय हेयुरिस्टिक्स के बजाय ट्रांजिशन-आधारित रूटिंग का उपयोग करके एक्सपर्ट महत्व का मूल्यांकन करता है।
- यह कठोर 50% कंप्रेशन रिजीम के तहत स्टेट-ऑफ़-द-एर्ट बेलाइन्स की तुलना में औसत प्रदर्शन रिटेन्शन में 10.61% तक अधिक हासिल करता है।
- दृष्टिकोण काफी कम क्रॉस-टैस्क वेरियंस दिखाता है, जो सुरक्षा, पक्षपात और नैतिकता सहित विषम कार्यों में अधिक संगत सामान्यीकरण की ओर इशारा करता है।