DominoTree es un método de árbol de borrado primero sin entrenamiento que aprovecha el domino liberado para acelerar la inferencia de modelos de lenguaje grandes. Utiliza una corrección causal basada en GRU para hacer que las distribuciones de tokens de borrado dependan de la ruta, abordando limitaciones en enfoques factorizados como DDTree.

  • Puntúa el árbol de borrado utilizando la corrección condicional y no factorizada de Domino a lo largo de cada ruta de raíz a nodo.
  • Restringe la corrección por nodo a un conjunto candidato top-M para mantener la eficiencia práctica.
  • Emplea un constructor de CUDA-graph nativo de GPU que es bit a bit idéntico a la implementación de referencia en Python.
  • Logra una aceleración de hasta 6.6x y una longitud aceptada media de 10.7 tokens en Qwen3-4B en ocho benchmarks.
  • Mejora el rendimiento en un 9% a 10% en Qwen3-4B y hasta un 22% en Alpaca en comparación con el domino liberado.

DominoTree supera a DDTree y CaDDTree en cada temperatura probada, incluyendo la decodificación codiciosa, mientras mantiene ganancias agregadas sobre DFlash y Domino.