一项实际调查考察了训练无关的松弛推测解码，它通过使用更快的辅助模型来起草令牌，然后并行验证这些令牌，从而加速自回归 LLM 采样。该研究在共享框架内统一了现有方法，并在当代设置中对它们进行了基准测试，以提炼从业者的经验发现。

  • 对严格无损保证的松弛可以产生进一步的加速、可控的能力-速度权衡，甚至能力增益。
  • 与标准无损推测解码不同，评估能力是松弛方法所必需的。
  • 许多松弛方法依赖于一个良好的语言模型起草器，这使得它们不适合轻量级专用的多令牌预测起草器。