DeepSeek V4 Flash com DSpark via SGLang

Um usuário relata a implantação do DeepSeek V4 Flash usando o algoritmo de decodificação especulativa DSpark dentro do SGLang em hardware HGX-H200, comparando seu desempenho contra o backend Marlin MoE e EAGLE.

• O DSpark é 3.2x mais rápido que o EAGLE no tamanho de lote 1 e fornece um aumento de 46% na taxa de transferência no tamanho de lote 24.
• Enquanto o EAGLE mantém ~97-100% de aceitação de tokens, ele rascunha apenas 2 tokens por etapa; o DSpark rascunha 6 tokens por etapa com a aceitação caindo para 88% em tamanhos de lote maiores.
• Os benchmarks mostram que o Marlin geralmente supera o Flashinfer no Tempo até o Primeiro Token (TTFT) para níveis de concorrência médios a altos.
• A implantação utiliza flags específicas do SGLang, incluindo `--speculative-algorithm DSPARK` e `--moe-runner-backend marlin`.