Пользователь сообщает о развертывании DeepSeek V4 Flash с использованием алгоритма спекулятивного декодирования DSpark в SGLang на аппаратном обеспечении HGX-H200, сравнивая его производительность с бэкендом Marlin MoE и EAGLE.

  • DSpark в 3.2 раза быстрее EAGLE при размере пакета 1 и обеспечивает увеличение пропускной способности на 46% при размере пакета 24.
  • Хотя EAGLE поддерживает принятие токенов на уровне ~97-100%, он генерирует только 2 токена за шаг; DSpark генерирует 6 токенов за шаг, при этом уровень принятия снижается до 88% при больших размерах пакетов.
  • Тесты показывают, что Marlin в целом превосходит Flashinfer по показателю Time to First Token (TTFT) для среднего и высокого уровня конкурентности.
  • Развертывание использует специфические флаги SGLang, включая `--speculative-algorithm DSPARK` и `--moe-runner-backend marlin`.