通过 SGLang 使用 DSpark 的 DeepSeek V4 Flash

一名用户报告在 HGX-H200 硬件上使用 SGLang 中的 DSpark 推测解码算法部署了 DeepSeek V4 Flash，并将其性能与 Marlin MoE 后端和 EAGLE 进行了比较。

• 在批量大小为 1 时，DSpark 比 EAGLE 快 3.2 倍，并且在批量大小为 24 时吞吐量提高了 46%。
• 虽然 EAGLE 保持了 ~97-100% 的 token 接受率，但它每个步骤仅草稿 2 个 token；DSpark 每个步骤草稿 6 个 token，在更高的批量大小下接受率降至 88%。
• 基准测试显示，对于中等到高等级的并发量，Marlin 在首 token 时间 (TTFT) 方面通常优于 Flashinfer。
• 该部署使用了特定的 SGLang 标志，包括 `--speculative-algorithm DSPARK` 和 `--moe-runner-backend marlin`。