DominoTree 是一种无需训练的基于最佳优先的草稿树方法,它将已发布的 Domino drafter 与 GPU 原生 CUDA-graph builder 相结合,以加速 LLM 推理。它沿着从根到节点的每条路径使用 Domino 的条件非因式分解 GRU 校正来评分草稿树,并限制为候选 top-M 以提高效率。
- 在 Qwen3-4B 的八个基准测试中,DominoTree 相比自回归解码实现了高达 6.6x 的加速,每轮平均接受长度高达 10.7 个 token。
- 在 Qwen3-4B 上,其吞吐量整体比已发布的 Domino decoder 高出 9-10%,在 Alpaca 上每个测试温度下最高提升 +22%。
- 在 Qwen3-8B 上,它保持了最高的接受长度,并在 T=0 时相比 DDTree 增加了 +24% 的决定性吞吐量优势。
该方法在各种温度和模型下,与自回归解码、DFlash、Domino 以及 DDTree/CaDDTree 相比,提供了显著的加速和接受率。