Un utilisateur signale le déploiement de DeepSeek V4 Flash en utilisant l'algorithme de décodage spéculatif DSpark dans SGLang sur du matériel HGX-H200, comparant ses performances à celles du backend MoE Marlin et d'EAGLE.

  • DSpark est 3,2 fois plus rapide qu'EAGLE avec une taille de lot de 1 et offre une augmentation de débit de 46% avec une taille de lot de 24.
  • Bien qu'EAGLE maintienne un taux d'acceptation de tokens d'environ 97-100%, il ne draft que 2 tokens par étape ; DSpark draft 6 tokens par étape, avec une acceptation tombant à 88% pour des tailles de lot plus élevées.
  • Les benchmarks montrent que Marlin surpasse généralement Flashinfer en Time to First Token (TTFT) pour des niveaux de concurrence moyens à élevés.
  • Le déploiement utilise des indicateurs SGLang spécifiques, notamment `--speculative-algorithm DSPARK` et `--moe-runner-backend marlin`.