DeepSeek V4 Flash dengan DSpark melalui SGLang

Seorang pengguna melaporkan mendeploy DeepSeek V4 Flash menggunakan algoritma decoding spekulatif DSpark di dalam SGLang pada perangkat keras HGX-H200, membandingkan kinerjanya terhadap backend MoE Marlin dan EAGLE.

• DSpark 3,2x lebih cepat daripada EAGLE pada batch size 1 dan memberikan peningkatan throughput sebesar 46% pada batch size 24.
• Meskipun EAGLE mempertahankan penerimaan token sekitar 97-100%, ia hanya membuat draft 2 token per langkah; DSpark membuat draft 6 token per langkah dengan penerimaan turun menjadi 88% pada ukuran batch yang lebih tinggi.
• Benchmark menunjukkan Marlin umumnya mengungguli Flashinfer dalam Time to First Token (TTFT) untuk tingkat konkurensi menengah hingga tinggi.
• Deploy menggunakan flag SGLang tertentu termasuk `--speculative-algorithm DSPARK` dan `--moe-runner-backend marlin`.