DominoTreeは、トレーニング不要のbest-firstドラフト木手法であり、公開されたDomino drafterとGPUネイティブなCUDA-graphビルダーを組み合わせてLLM推論を加速します。各ルートからノードへのパスに沿って条件付きで非因子化されたGRUベースの補正を用いてドラフト木をスコアリングし、効率のために候補top-Mに制限されます。

  • Qwen3-4Bにおいて8つのベンチマークで、自己回帰的デコーディングと比較して最大6.6倍の高速化を実現し、1ラウンドあたりの平均受け入れ長は最大10.7トークンです。
  • Qwen3-4B上でDominoデコーダーと比較して全体で9-10%のスループット向上、Alpacaではすべてのテスト温度で最大+22%の向上を実現しました。
  • Qwen3-8Bにおいて、最高受容長を維持し、T=0でDDTreeに対して決定的なスループット勝利(+24%)を追加しました。

この手法は、自己回帰的デコーディング、DFlash、Domino、DDTree/CaDDTreeと比較して、様々な温度やモデルにおいて大幅な高速化と受容率を提供します。