DFlash, z-lab द्वारा ब्लॉक डिफ्यूजन का उपयोग करने वाला एक अनुमानित डिकोडिंग विधि है, जिसे llama.cpp में विलय कर दिया गया है (PR #22105)। लेखक ने Qwen 3.6 27B के साथ NVIDIA RTX PRO 6000 Blackwell पर नई सुविधा का बेंचमार्किंग किया, और पाया कि यह MTP जैसे पिछले तरीकों की तुलना में काफी तेज़ है।
- DFlash एक ही पारगमन में 15 टोकन तक के ब्लॉक को भरता है, न कि उन्हें एक-एक करके ड्राफ्ट करता है।
- 36K संदर्भ पर, DFlash ने 273.04 tok/s हासिल किया, जबकि बेलाइन के लिए 61.47 tok/s था, जो 4.44x की गति वृद्धि है।
- MATH-500 पर गुणवत्ता परीक्षणों में न्यूनतम क्षति दिखाई दी (बेस मॉडल के लिए 86% बनाम 87%)।
- विधि ड्राफ्टर वजन और बफर्स के लिए लगभग 5GB अतिरिक्त VRAM ओवरहेड उत्पन्न करती है।
- गति वृद्धि संदर्भ लंबाई के साथ बढ़ती है, 36K पर 4.44x तक पहुंच जाती है, जबकि बेलाइन प्रदर्शन संदर्भ बढ़ने के साथ कम हो जाता है।
यह दृष्टिकोण स्थानीय AI उपयोग के लिए महत्वपूर्ण प्रदर्शन लाभ प्रदान करता है, विशेष रूप से कम-प्रतिस्पर्धा परिदृश्यों में जहां डिफ्यूजन पारगमन कंप्यूट संसाधनों के लिए कठोर प्रतिस्पर्धा नहीं करते हैं।