DominoTree — это метод построения дерева черновых вариантов с приоритетом по лучшей оценке, не требующий дообучения, который объединяет выпущенный генератор Domino с нативным для GPU построителем CUDA-графов для ускорения вывода LLM. Он оценивает деревья черновиков с помощью условной, нефакторизованной коррекции на основе GRU от Domino вдоль каждого пути от корня к узлу, ограниченной кандидатным множеством top-M для эффективности.
- На Qwen3-4B по восьми бенчмаркам DominoTree достигает ускорения до 6.6x по сравнению с авторегрессионным декодированием и средней длины принятия до 10.7 токенов за раунд.
- Он превосходит выпущенный декодер Domino по пропускной способности в целом на 9-10% на Qwen3-4B и до +22% на Alpaca при каждом протестированном значении температуры.
- На Qwen3-8B он сохраняет наибольшую принятую длину и добавляет решающее преимущество по пропускной способности в +24% над DDTree при T=0.
Метод обеспечивает значительное ускорение и коэффициенты принятия по сравнению с авторегрессионным декодированием, DFlash, Domino и DDTree/CaDDTree при различных температурах и моделях.