O DominoTree é um método de árvore de rascunho best-first sem treinamento que combina o Domino drafter lançado com um construtor nativo de grafos CUDA para GPU para acelerar a inferência de LLM. Ele pontua árvores de rascunho usando a correção condicional e não fatorizada baseada em GRU do Domino ao longo de cada caminho raiz-nó, restrita a um top-M candidato por eficiência.

  • No Qwen3-4B em oito benchmarks, o DominoTree alcança até 6.6x de aceleração em comparação com a decodificação autoregressiva e um comprimento médio de aceitação de até 10.7 tokens por rodada.
  • Ele supera o decoder Domino lançado em 9-10% globalmente no Qwen3-4B e até +22% no Alpaca em cada temperatura testada.
  • No Qwen3-8B, ele mantém o maior comprimento aceito e adiciona uma vitória decisiva de throughput de +24% sobre o DDTree em T=0.

O método fornece aceleração significativa e taxas de aceitação em comparação com a decodificação autoregressiva, DFlash, Domino e DDTree/CaDDTree através de várias temperaturas e modelos.