DominoTree는 훈련이 필요 없는 best-first 드래프트 트리 방식으로, 공개된 Domino drafter와 GPU 네이티브 CUDA-graph 빌더를 결합하여 LLM 추론을 가속화합니다. 루트에서 노드까지의 경로에 따라 조건부 비분리 GRU 기반 보정을 사용하여 드래프트 트리에 점수를 매기며, 효율성을 위해 후보 top-M로 제한됩니다.

  • Qwen3-4B에서 8개의 벤치마크에 대해 자기회귀 디코딩 대비 최대 6.6배의 속도 향상을 달성했으며, 라운드당 평균 수용 길이는 최대 10.7 토큰입니다.
  • Qwen3-4B에서 공개된 Domino 디코더 대비 전체적으로 9-10%의 처리량 이점을 얻었으며, Alpaca에서는 모든 테스트 온도에서 최대 +22%의 향상을 보였습니다.
  • Qwen3-8B에서 가장 높은 수용 길이를 유지하며 T=0일 때 DDTree 대비 결정적인 처리량 승리(+24%)를 추가했습니다.

이 방법은 다양한 온도와 모델에 대해 자기회귀 디코딩, DFlash, Domino, DDTree/CaDDTree와 비교하여 상당한 속도 향상과 수용률을 제공합니다.