本文介绍了 Weaver，这是一种轻量级自回归适配器，它从因子化草稿器的 top-K 边缘分布构建提议树，以解决由独立性假设引起的接受率下降问题。

  • Weaver 恢复了提议标记之间的条件依赖关系，同时避免了全词表投影。
  • 针对具有 Gated Delta Net 层的模型推导了一种无回滚的树验证算法，通过 SGLang 中的优化 CUDA 内核实现。
  • 该方法相比自回归解码实现了 4.37 倍的加速，并比高度优化的 DFlash 基线高出 24.7%。

通过结合这些模型和系统贡献，Weaver 通过投机解码显著提高了自回归语言模型的交互性。