DominoTree는 출시된 Domino drafter를 활용하여 대규모 언어 모델 추론을 가속화하는 학습 없는 best-first 드래프트 트리 방법입니다. DDTree와 같은 분해 접근법의 한계를 해결하기 위해 GRU 기반 인과 보정을 사용하여 드래프트 토큰 분포를 경로 종속적으로 만듭니다.

  • 루트에서 노드까지의 각 경로를 따라 Domino의 조건부 비분해 보정을 사용하여 드래프트 트리를 점수화합니다.
  • 실용적인 효율성을 유지하기 위해 노드별 보정을 후보 상위 M 세트에 제한합니다.
  • 참조 Python 구현과 비트 단위로 동일한 GPU 네이티브 CUDA-graph 빌더를 사용합니다.
  • Qwen3-4B에서 8개의 벤치마크에 걸쳐 최대 6.6배의 속도 향상과 평균 수용 길이가 10.7 토큰을 달성했습니다.
  • 출시된 Domino 디코더와 비교하여 Qwen3-4B에서 처리량(throughput)이 9%에서 10% 증가하고 Alpaca에서는 최대 22% 증가했습니다.

DominoTree는 greedy 디코딩을 포함한 테스트된 모든 온도에서 DDTree 및 CaDDTree보다 우수하며, DFlash 및 Domino에 대한 집계 이점을 유지합니다.