AdaSpark 是用于 DSpark 等块草稿生成器的调度器,它在不进行预先分析或校准的情况下,在服务过程中学习验证宽度和接受概率。它将验证时间拟合为上下文和目标结果的函数以及候选接受率,使草稿生成的候选和文本推导的候选能够在单一的最佳优先顺序中竞争。
- 在包含三个密集目标和一个混合专家目标的六个公共数据集上,使用相同的草稿生成器时,AdaSpark 的解码速度比 llama.cpp 的 DSpark 快 1.5-3.1 倍。
- 配备 AdaSpark 的 imparo 引擎比运行默认三词元链快 1.17-1.52 倍,这一增益完全归功于调度器。
- 在不进行宽度扫描的情况下,性能在密集目标上保持在最佳固定树宽度的 0.3% 以内,并在混合专家模型上与最佳固定宽度持平。
这种方法消除了对离线校准或扫描的需求,同时相比标准调度方法提供了显著的速度提升。