Artikel ini memperkenalkan Weaver, sebuah adaptor autoregresif ringan yang membangun pohon usulan dari marginal top-K dari drafter terfaktorisasi untuk mengatasi penurunan tingkat penerimaan yang disebabkan oleh asumsi independensi.
- Weaver memulihkan ketergantungan bersyarat antar token yang diusulkan sambil menghindari proyeksi kosakata penuh.
- Algoritma verifikasi pohon tanpa rollback diturunkan untuk model dengan lapisan Gated Delta Net, diimplementasikan melalui kernel CUDA yang dioptimalkan di SGLang.
- Pendekatan ini mencapai percepatan 4,37 kali lipat dibandingkan dengan decoding autoregresif dan mengungguli baseline DFlash yang sangat dioptimalkan sebesar 24,7%.
Dengan menggabungkan kontribusi model dan sistem ini, Weaver secara signifikan meningkatkan interaktivitas model bahasa autoregresif melalui decoding spekulatif.