DominoTree memperkenalkan drafting pohon kondisional untuk decoding spekulatif

DominoTree adalah metode pohon draft best-first tanpa pelatihan yang menggabungkan drafter Domino yang dirilis dengan pembangun grafik CUDA asli GPU untuk mempercepat inferensi LLM. Ia menilai pohon draft menggunakan koreksi berbasis GRU non-faktorisasi kondisional Domino di sepanjang jalur akar-ke-node, dibatasi pada kandidat top-M untuk efisiensi.

• Pada Qwen3-4B di delapan benchmark, DominoTree mencapai percepatan hingga 6.6x dibandingkan decoding autoregresif dan panjang penerimaan rata-rata hingga 10.7 token per putaran.
• Ia mengalahkan decoder Domino yang dirilis dengan throughput keseluruhan 9-10% pada Qwen3-4B dan hingga +22% pada Alpaca di setiap suhu yang diuji.
• Pada Qwen3-8B, ia mempertahankan panjang penerimaan tertinggi dan menambahkan kemenangan throughput yang menentukan sebesar +24% atas DDTree pada T=0.

Metode ini memberikan percepatan signifikan dan tingkat penerimaan dibandingkan dengan decoding autoregresif, DFlash, Domino, dan DDTree/CaDDTree di berbagai suhu dan model.