शोधकर्ताओं ने EcoSpec प्रस्तावित किया, जो एक लागत-जागरूक अनुमानित डिकोडिंग फ्रेमवर्क है जो बड़े पैमाने के मिक्स्चर-ऑफ़-एक्सपर्ट्स (MoE) मॉडलों में विशेषज्ञों के बिखराव को संबोधित करने के लिए ड्राफ्ट चयन में पूर्वानुमित मार्जिनल विशेषज्ञ सक्रियण लागत को शामिल करता है।
- EcoSpec एक हल्के विशेषज्ञ पूर्वानुमानक और गतिशील विशेषज्ञ बफर का उपयोग करता है, जो वर्तमान सत्यापन सेट द्वारा पहले ही कवर किए गए विशेषज्ञों को पुन: उपयोग करते हुए स्वीकृति संभावना को बनाए रखने वाले ड्राफ्ट पथों को प्राथमिकता देता है।
- विधि लक्ष्य-मॉडल सत्यापन नियम में संशोधन से बचती है, इसके बजाय समानांतर टोकन सत्यापन के दौरान सक्रिय विशेषज्ञों के संघ को अनुकूलित करती है।
- तर्क, कोडिंग, प्रश्न-उत्तर और संवाद मानकों पर DeepSeek-V3.1 (671B), Qwen3-235B-A22B, और GPT-OSS-120B पर मूल्यांकन किया गया।
- सक्रिय विशेषज्ञ फुटप्रिंट को लगातार कम करके और अंत-से-अंत डिकोडिंग गति में सुधार करके 1.62x तक की गति प्राप्त करता है।
ये परिणाम दर्शाते हैं कि बड़े पैमाने के MoE मॉडलों में कुशल अनुमानित डिकोडिंग के लिए विशेषज्ञ सक्रियण लागत को ध्यान में रखना महत्वपूर्ण है।