O artigo apresenta o Weaver, um adaptador autoregressivo leve que constrói árvores de propostas a partir das marginais top-K de um draft fatorado para abordar a degradação nas taxas de aceitação causada por pressupostos de independência.

  • O Weaver restaura as dependências condicionais entre os tokens propostos, evitando uma projeção de vocabulário completo.
  • Um algoritmo de verificação de árvore sem rollback é derivado para modelos com camadas Gated Delta Net, implementado via kernels CUDA otimizados no SGLang.
  • A abordagem alcança um speedup de 4.37 vezes em relação à decodificação autoregressiva e supera uma baseline DFlash altamente otimizada em 24.7%.

Ao combinar essas contribuições de modelo e sistemas, o Weaver aumenta significativamente a interatividade dos modelos de linguagem autoregressivos por meio de decodificação especulativa.