DominoTree adalah metode draft pohon best-first tanpa pelatihan yang memanfaatkan drafter Domino yang dirilis untuk mempercepat inferensi model bahasa besar. Metode ini menggunakan koreksi kausal berbasis GRU untuk membuat distribusi token draft bergantung pada jalur, mengatasi keterbatasan dalam pendekatan terfaktorisasi seperti DDTree.
- Menilai pohon draft menggunakan koreksi bersyarat dan tidak terfaktorisasi dari Domino di sepanjang setiap jalur akar ke node.
- Membatasi koreksi per node ke set top-M kandidat untuk menjaga efisiensi praktis.
- Menggunakan pembangun CUDA-graph asli GPU yang identik bit dengan implementasi Python referensi.
- Mencapai percepatan hingga 6.6x dan panjang rata-rata yang diterima sebesar 10.7 token pada Qwen3-4B di delapan benchmark.
- Meningkatkan throughput sebesar 9% hingga 10% pada Qwen3-4B dan hingga 22% pada Alpaca dibandingkan dengan decoder Domino yang dirilis.
DominoTree mengungguli DDTree dan CaDDTree pada setiap suhu yang diuji, termasuk di bawah decoding greedy, sambil mempertahankan keuntungan agregat atas DFlash dan Domino.