Un usuario informa del despliegue de DeepSeek V4 Flash utilizando el algoritmo de decodificación especulativa DSpark dentro de SGLang en hardware HGX-H200, comparando su rendimiento contra el backend Marlin MoE y EAGLE.
- DSpark es 3.2x más rápido que EAGLE con un tamaño de lote de 1 y proporciona un aumento del 46% en el rendimiento a un tamaño de lote de 24.
- Mientras EAGLE mantiene una aceptación de tokens de ~97-100%, solo redacta 2 tokens por paso; DSpark redacta 6 tokens por paso con una aceptación que cae al 88% a tamaños de lote más altos.
- Las pruebas muestran que Marlin generalmente supera a Flashinfer en Tiempo al Primer Token (TTFT) para niveles de concurrencia medios a altos.
- El despliegue utiliza indicadores específicos de SGLang incluyendo `--speculative-algorithm DSPARK` y `--moe-runner-backend marlin`.