शोधकर्ता बड़े भाषा मॉडलों में अनुमान को अनुकूलित करने के लिए विरलता के लिए संवेदनशीलता-जागरूक थ्रेशोल्डिंग (SATS) और एक हल्के टोकन राउटिंग फ्रेमवर्क का प्रस्ताव करते हैं। SATS स्थानीय MLP आउटपुट संवेदनशीलता प्रॉक्सी के साथ प्रतिशत-आधारित कैलिब्रेशन को बदल देता है, परतवार गेट थ्रेशोल्ड निर्धारित करने के लिए, जबकि राउटिंग फ्रेमवर्क प्रति टोकन गणना पथों को गतिशील रूप से चुनता है।
- SATS थ्रेशोल्ड कैलिब्रेशन के लिए सक्रियण प्रतिशत के बजाय संवेदनशीलता-जागरूक चयन नियम का उपयोग करता है।
- टोकन राउटिंग आधार और संशोधित पथों के बीच प्रति टोकन आधार पर गतिशील रूप से चुनता है।
- कई ओपन-वेट LLMs पर मूल्यांकन दिखाता है कि SATS वास्तविक विरलता में मिलान करते हुए थ्रेशोल्ड-आधारित विरलता बेलाइनों पर सुधार करता है।
- टोकन राउटिंग स्थिर सक्रियण संशोधन बेलाइनों की तुलना में गुणवत्ता-थ्रूपुट समझौते के लिए अधिक अनुकूल परिणाम देता है।
लेखकों का निष्कर्ष है कि सुधारी हुई थ्रेशोल्ड कैलिब्रेशन और टोकन राउटिंग LLMs में गुणवत्ता-थ्रूपुट समझौते को बढ़ावा दे सकते हैं।