एक उपयोगकर्ता HGX-H200 हार्डवेयर पर SGLang के भीतर DSpark अनुमानित डिकोडिंग एल्गोरिदम का उपयोग करके DeepSeek V4 Flash को तैनात करने की रिपोर्ट करता है, Marlin MoE बैकएंड और EAGLE के खिलाफ इसके प्रदर्शन की तुलना करता है।
- बैच साइज 1 पर DSpark, EAGLE से 3.2x तेज़ है और बैच साइज 24 पर 46% थ्रूपुट वृद्धि प्रदान करता है।
- जबकि EAGLE ~97-100% टोकन स्वीकृति बनाए रखता है, यह प्रति चरण केवल 2 टोकन ड्राफ्ट करता है; DSpark प्रति चरण 6 टोकन ड्राफ्ट करता है, उच्च बैच साइज पर स्वीकृति घटकर 88% हो जाती है।
- बेंचमार्क दिखाते हैं कि Marlin मध्यम से उच्च कंकरेंसी स्तरों के लिए टाइम टू फर्स्ट टोकन (TTFT) में आमतौर पर Flashinfer की तुलना में बेहतर प्रदर्शन करता है।
- तैनाती विशिष्ट SGLang फ्लैग का उपयोग करती है, जिसमें `--speculative-algorithm DSPARK` और `--moe-runner-backend marlin` शामिल हैं।