Seorang pengguna melakukan benchmark model baru unsloth/Qwen3.6-27B-NVFP4 menggunakan vLLM pada konfigurasi empat GPU RTX 5060 Ti untuk mengevaluasi kinerja prefill dan Waktu ke Token Pertama (TTFT) di berbagai tingkat konkurensi.

  • Lingkungan pengujian menggunakan paralelisme pipeline sebesar 4, VRAM 64GB per kartu, dan token batch maksimum sebanyak 16K.
  • Pada konkurensi 1, rata-rata TTFT adalah 3291.57 ms dengan throughput token total sebesar 211.95 tok/s.
  • Meningkatkan konkurensi menjadi 4 menaikkan rata-rata TTFT menjadi 3864.81 ms dan throughput token total menjadi 647.57 tok/s.
  • Pada konkurensi 8, rata-rata TTFT meningkat menjadi 5279.76 ms sementara throughput token total mencapai 1023.60 tok/s.
  • Dengan konkurensi 12, rata-rata TTFT melonjak menjadi 14441.53 ms dan throughput token total adalah 1047.73 tok/s.
  • Pada konkurensi 16, rata-rata TTFT naik tajam menjadi 37817.92 ms dengan throughput token total sebesar 1061.13 tok/s.

Benchmark ini menggambarkan bagaimana latensi prefill dan latensi end-to-end meningkat secara signifikan seiring bertambahnya konkurensi pada konfigurasi perangkat keras tertentu ini.