Um usuário faz benchmark do novo modelo unsloth/Qwen3.6-27B-NVFP4 usando vLLM em uma configuração com quatro GPUs RTX 5060 Ti para avaliar o desempenho de prefill e o Tempo até o Primeiro Token (TTFT) em diferentes níveis de concorrência.

  • O ambiente de teste usa paralelismo de pipeline de 4, 64GB de VRAM por placa e um máximo de 16K tokens por batch.
  • Com 1 de concorrência, o TTFT médio é de 3291,57 ms com uma taxa total de tokens de 211,95 tok/s.
  • Ao aumentar para 4 de concorrência, o TTFT médio sobe para 3864,81 ms e a taxa total de tokens atinge 647,57 tok/s.
  • Com 8 de concorrência, o TTFT médio aumenta para 5279,76 ms enquanto a taxa total de tokens alcança 1023,60 tok/s.
  • Com 12 de concorrência, o TTFT médio salta para 14441,53 ms e a taxa total de tokens é de 1047,73 tok/s.
  • Com 16 de concorrência, o TTFT médio sobe abruptamente para 37817,92 ms com uma taxa total de tokens de 1061,13 tok/s.

O benchmark ilustra como a latência de prefill e a latência de ponta a ponta escalam significativamente à medida que a concorrência aumenta nesta configuração específica de hardware.