qwen4exp परियोजना ने प्रभावी मल्टी-टोकन प्रेडिक्शन (MTP) अनुमानित डिकोडिंग को सक्षम बनाने के लिए पुनरावर्ती स्थिति रोलबैक समर्थन लागू किया है। इस बदलाव से लक्ष्य स्थिति अस्वीकृत ड्राफ़्ट टोकन की संख्या द्वारा पीछे जा सकती है, जिससे पूरे पुनरावर्ती स्थिति को होस्ट मेमोरी में अनिवार्य रूप से सीरियलाइज़ होने से रोका जाता है।
पहले, `build_conv_state_at` फ़ंक्शन केवल एकल प्लेन लिखता था, जिससे रोलबैक अपूर्ण कन्वोल्यूशन इतिहास को पुनर्स्थापित कर देते थे। अद्यतन अब डेल्टा नेट QKV और PLE कन्वोल्यूशन दोनों के लिए प्रति स्लॉट एक स्नैपशॉट लिखता है, जिससे स्थिति की सटीक पुनर्स्थापना सुनिश्चित होती है।
MTP ड्राफ़्ट के साथ Qwen3.8-Flash-Next UD-Q4_K_XL पर बेंचमार्क्स कोड के लिए 183 tok/s और प्रोज़ के लिए 144 tok/s की डिकोडिंग गति दिखाते हैं। यह पिछले फॉलबैक विधि की तुलना में एक महत्वपूर्ण सुधार है, जिसने क्रमशः केवल 123 और 83 tok/s प्राप्त किए थे।