लेख में Weaver का परिचय दिया गया है, जो एक हल्का ऑटोरेग्रेसिव एडाप्टर है जो इंडिपेंडेंस असांप्शन के कारण स्वीकृति दरों में गिरावट को दूर करने के लिए फ़ैक्टराइज्ड ड्राफ्टर के टॉप-K मार्जिनल्स से प्रोपोज़ल ट्री बनाता है।
- Weaver प्रस्तावित टोकन के बीच कंडीशनल डिपेंडेंसी को पुनर्स्थापित करता है जबकि फुल-वोकबुलरी प्रोजेक्शन से बचता है।
- Gated Delta Net परतों वाले मॉडल्स के लिए एक रोलबैक-फ्री ट्री-वैरिफिकेशन एल्गोरिदम निकाला गया है, जिसे SGLang में ऑप्टिमाइज्ड CUDA kernels के माध्यम से लागू किया गया है।
- दृष्टिकोण ऑटोरेग्रेसिव डिकोडिंग की तुलना में 4.37 गुना स्पीडअप हासिल करता है और एक अत्यधिक ऑप्टिमाइज्ड DFlash बेलाइन से 24.7% बेहतर प्रदर्शन करता है।
इन मॉडल और सिस्टम योगदान को जोड़कर, Weaver स्पेकुलेटिव डिकोडिंग के माध्यम से ऑटोरेग्रेसिव लैंग्वेज मॉडल्स की इंटरैक्टिविटी को काफी बढ़ाता है।