El artículo presenta Weaver, un adaptador autoregresivo ligero que construye árboles de propuestas a partir de las marginales top-K de un draft factorizado para abordar la degradación en las tasas de aceptación causada por supuestos de independencia.

  • Weaver restaura las dependencias condicionales entre los tokens propuestos mientras evita una proyección de vocabulario completo.
  • Se deriva un algoritmo de verificación de árbol sin retroceso para modelos con capas Gated Delta Net, implementado mediante kernels CUDA optimizados en SGLang.
  • El enfoque logra una aceleración de 4.37 veces sobre la decodificación autoregresiva y supera a una línea base DFlash altamente optimizada en un 24.7%.

Al combinar estas contribuciones de modelo y sistemas, Weaver aumenta significativamente la interactividad de los modelos de lenguaje autoregresivos mediante la decodificación especulativa.