本文提出了一项关于免训练松弛推测解码技术的实际调查，该技术通过使用辅助模型来起草令牌，从而加速自回归 LLM 采样。作者将现有方法统一在一个共享框架内，并在当代设置中对它们进行基准测试，以提炼出从业者的实证发现。
- 放松标准推测解码的严格无损保证可以带来进一步的加速、可控的能力-速度权衡，甚至能力增益。
- 评估松弛所需的能力比在无损推测解码中更为重要。
- 许多松弛方法依赖于一个良好的语言模型作为起草器，这使得它们不适合轻量级专用的多令牌预测起草器。
研究结果强调，虽然松弛带来了性能优势，但它引入了重要的评估要求和对起草模型选择的限制。