DominoTree — это метод построения дерева черновых вариантов с приоритетом по оценке, не требующий дообучения, который использует выпущенный Domino drafter для ускорения вывода больших языковых моделей. Он применяет причинно-следственную коррекцию на основе GRU, чтобы сделать распределения черновых токенов зависящими от пути, устраняя ограничения факторизованных подходов, таких как DDTree.
- Оценивает дерево черновых вариантов с помощью условной, не факторизованной коррекции Domino вдоль каждого пути от корня к узлу.
- Ограничивает коррекцию для каждого узла набором кандидатов top-M для поддержания практической эффективности.
- Использует нативный для GPU построитель CUDA-graph, битово идентичный эталонной реализации на Python.
- Достигает ускорения до 6.6x и средней принятой длины в 10.7 токенов на Qwen3-4B по восьми бенчмаркам.
- Увеличивает пропускную способность на 9%–10% на Qwen3-4B и до 22% на Alpaca по сравнению с выпущенным Domino decoder.
DominoTree превосходит DDTree и CaDDTree при каждом протестированном значении температуры, включая жадное декодирование, сохраняя совокупные преимущества над DFlash и Domino.