DominoTreeは、リリースされたDomino drafterを活用して大規模言語モデルの推論を加速する、学習不要のbest-firstドラフト木手法です。DDTreeのような因子分解アプローチの制限に対処するため、GRUベースの因果補正を使用してドラフトトークン分布をパス依存にします。

  • ルートからノードへの各パスに沿ってDominoの条件付き非因子分解補正を用いてドラフト木をスコアリングします。
  • 実用的な効率を維持するため、ノードごとの補正を候補上位Mセットに制限します。
  • リファレンスPython実装とビット単位で同一であるGPUネイティブCUDA-graphビルダーを採用しています。
  • Qwen3-4Bにおいて8つのベンチマークで最大6.6倍の高速化と平均受理長10.7トークンを達成しました。
  • 公開されたDominoデコーダーと比較して、Qwen3-4Bでスループットが9%から10%向上し、Alpacaでは最大22%向上しました。

DominoTreeは、greedyデコーディングを含むテストされたすべての温度でDDTreeやCaDDTreeを上回り、DFlashやDominoに対する集計的な優位性を維持しています。