한 사용자가 HGX-H200 하드웨어에서 SGLang 내에서 DSpark 추론 디코딩 알고리즘을 사용하여 DeepSeek V4 Flash를 배포하고, Marlin MoE 백엔드 및 EAGLE과 성능을 비교했습니다.

  • DSpark는 배치 크기 1에서 EAGLE보다 3.2배 빠르며, 배치 크기 24에서 처리량이 46% 증가합니다.
  • EAGLE은 약 97-100%의 토큰 수용률을 유지하지만, 한 단계당 2개의 토큰만 드래프트하고, DSpark는 한 단계당 6개의 토큰을 드래프트하며 높은 배치 크기에서 수용률이 88%로 감소합니다.
  • 벤치마크에 따르면 Marlin은 중간부터 높은 동시성 수준에서 Time to First Token (TTFT) 에서 Flashinfer보다 일반적으로 더 우수한 성능을 보입니다.
  • 배포에는 `--speculative-algorithm DSPARK` 및 `--moe-runner-backend marlin` 과 같은 특정 SGLang 플래그가 사용되었습니다.