作者提出了 BlockPilot，这是一种样本自适应策略，动态选择基于扩散的推测解码的最优推理块大小。与使用固定块大小的现有方法不同，该方法将块大小选择表述为一个基于预填充表示的轻量级策略学习问题。

  • 仅在预填充后一次性从预填充阶段表示中预测最优块大小。
  • 利用最优值的局部结构来减少决策空间。
  • 在温度 T=1 下的 Qwen3-4B 上实现了 5.92 的接受长度和 4.20x 的加速。

该方法被描述为即插即用，开销极小，通过适应单个样本来持续提高效率。