SGLang経由のDSparkを用いたDeepSeek V4 Flash

あるユーザーが、HGX-H200ハードウェア上でSGLang内でDSpark推論デコーディングアルゴリズムを使用してDeepSeek V4 Flashをデプロイし、Marlin MoEバックエンドおよびEAGLEとのパフォーマンスを比較しました。

• DSparkはバッチサイズ1でEAGLEより3.2倍高速であり、バッチサイズ24ではスループットが46%向上します。
• EAGLEは約97-100%のトークン受容率を維持しますが、1ステップあたり2トークンのみドラフトし、DSparkは1ステップあたり6トークンをドラフトし、高いバッチサイズでは受容率が88%に低下します。
• ベンチマークによると、Marlinは中程度から高レベルの同時実行性においてTime to First Token (TTFT) でFlashinferを上回る傾向があります。
• デプロイメントには `--speculative-algorithm DSPARK` および `--moe-runner-backend marlin` などの特定のSGLangフラグが使用されています。