DominoTree est une méthode de draft d'arbre best-first sans entraînement qui exploite le drafter Domino publié pour accélérer l'inférence des grands modèles de langage. Elle utilise une correction causale basée sur un GRU pour rendre les distributions de tokens drafts dépendantes du chemin, répondant ainsi aux limites des approches factorisées comme DDTree.

  • Évalue l'arbre draft en utilisant la correction conditionnelle et non factorisée de Domino le long de chaque racine-noeud.
  • Restreint la correction par noeud à un ensemble top-M candidat pour maintenir une efficacité pratique.
  • Emploie un constructeur CUDA-graph natif GPU bit-identique à l'implémentation Python de référence.
  • Atteint jusqu'à 6.6x d'accélération et une longueur acceptée moyenne de 10.7 tokens sur Qwen3-4B à travers huit benchmarks.
  • Améliore le débit de 9% à 10% sur Qwen3-4B et jusqu'à 22% sur Alpaca par rapport au décodeur Domino publié.

DominoTree surpasse DDTree et CaDDTree à chaque température testée, y compris sous décodage greedy, tout en maintenant des gains agrégés sur DFlash et Domino.