DSpark 是一个推测解码框架，旨在通过结合半自回归草稿生成与自适应、负载感知的验证来加速大型语言模型 (LLM) 的推理。它解决了现有并行草稿生成器中存在的接受率衰减和吞吐量下降问题。

  • DSpark 采用半自回归架构，将并行主干与轻量级顺序模块耦合，以建模块内依赖关系。
  • 该系统利用基于置信度调度的验证，根据前缀存活概率和吞吐量配置文件动态调整验证长度。
  • 在离线基准测试中，DSpark 显著提高了接受长度，优于最先进的自回归和并行草稿生成器。
  • 在实际流量下的 DeepSeek-V4 服务系统中，与 MTP-1 基线相比，DSpark 将每位用户的生成速度提高了 60% 到 85%。

通过防止验证浪费并在严格的交互性约束下缓解吞吐量下降，DSpark 实现了在生产环境中此前无法达到的性能层级。