В статье представлен Weaver, легкий авторегрессионный адаптер, который строит деревья предложений из маргиналей top-K факторизованного генератора для устранения снижения коэффициентов принятия, вызванного предположениями о независимости.
- Weaver восстанавливает условные зависимости между предлагаемыми токенами, избегая проекции на полный словарь.
- Для моделей со слоями Gated Delta Net выведен алгоритм верификации дерева без отката, реализованный с помощью оптимизированных CUDA-ядер в SGLang.
- Подход обеспечивает ускорение в 4.37 раза по сравнению с авторегрессионным декодированием и превосходит высокооптимизированную базовую линию DFlash на 24.7%.
Объединяя эти вклады в модели и системы, Weaver значительно повышает интерактивность авторегрессионных языковых моделей через спекулятивное декодирование.