用户使用vLLM在由四张RTX 5060 Ti GPU组成的设备上对新的unsloth/Qwen3.6-27B-NVFP4模型进行基准测试，以评估不同并发级别下的预填充性能和首字时间（TTFT）。

  • 测试环境使用4的流水线并行度，每张卡64GB显存，最大批次token数为16K。
  • 在并发数为1时，平均TTFT为3291.57毫秒，总token吞吐量为211.95 tok/s。
  • 并发数增加到4时，平均TTFT上升至3864.81毫秒，总token吞吐量达到647.57 tok/s。
  • 在并发数为8时，平均TTFT增加至5279.76毫秒，总token吞吐量达到1023.60 tok/s。
  • 当并发数为12时，平均TTFT跃升至14441.53毫秒，总token吞吐量为1047.73 tok/s。
  • 在并发数为16时，平均TTFT急剧上升至37817.92毫秒，总token吞吐量为1061.13 tok/s。

该基准测试展示了在此特定硬件配置下，随着并发数增加，预填充延迟和端到端延迟显著扩展的情况。