Un usuario realiza un benchmark del nuevo modelo unsloth/Qwen3.6-27B-NVFP4 utilizando vLLM en una configuración con cuatro GPUs RTX 5060 Ti para evaluar el rendimiento de prefill y el Tiempo hasta el Primer Token (TTFT) a diferentes niveles de concurrencia.

  • El entorno de prueba utiliza paralelismo de pipeline de 4, 64GB de VRAM por tarjeta y un máximo de 16K tokens por lote.
  • Con 1 concurrencia, el TTFT medio es de 3291.57 ms con un rendimiento total de tokens de 211.95 tok/s.
  • Al aumentar a 4 concurrencias, el TTFT medio sube a 3864.81 ms y el rendimiento total de tokens alcanza 647.57 tok/s.
  • Con 8 concurrencias, el TTFT medio aumenta a 5279.76 ms mientras que el rendimiento total de tokens llega a 1023.60 tok/s.
  • Con 12 concurrencias, el TTFT medio salta a 14441.53 ms y el rendimiento total de tokens es de 1047.73 tok/s.
  • Con 16 concurrencias, el TTFT medio se eleva drásticamente a 37817.92 ms con un rendimiento total de tokens de 1061.13 tok/s.

El benchmark ilustra cómo la latencia de prefill y la latencia de extremo a extremo escalan significativamente a medida que aumenta la concurrencia en esta configuración de hardware específica.