O DominoTree é um método de árvore de rascunho best-first sem treinamento que aproveita o Domino liberado para acelerar a inferência de modelos de linguagem grandes. Ele utiliza uma correção causal baseada em GRU para tornar as distribuições de tokens de rascunho dependentes do caminho, abordando limitações em abordagens fatoradas como DDTree.
- Pontua a árvore de rascunho usando a correção condicional e não fatorizada do Domino ao longo de cada caminho da raiz ao nó.
- Restringe a correção por nó a um conjunto candidato top-M para manter a eficiência prática.
- Emprega um construtor de CUDA-graph nativo da GPU que é bit-a-bit idêntico à implementação de referência em Python.
- Alcança até 6.6x de aceleração e um comprimento médio aceito de 10.7 tokens no Qwen3-4B em oito benchmarks.
- Melhora a taxa de transferência em 9% a 10% no Qwen3-4B e até 22% no Alpaca em comparação com o Domino decoder liberado.
O DominoTree supera o DDTree e o CaDDTree em cada temperatura testada, incluindo na decodificação gulosa, enquanto mantém ganhos agregados sobre DFlash e Domino.