SGLang menangani konkurensi lebih tinggi daripada vLLM pada 4x RTX 5060 Ti

Seorang pengguna yang melakukan benchmarking Qwen3.6-27B (INT8) pada empat GPU RTX 5060 Ti menemukan bahwa SGLang mengelola konkurensi yang lebih tinggi secara lebih efektif daripada vLLM, yang sebelumnya mengalami masalah waktu ke token pertama (TTFT).

• Pengaturan mencapai latensi akhir-ke-akhir rata-rata sebesar 13679.23 ms dan TTFT rata-rata 7504.07 ms pada 8 permintaan konkuren.
• Throughput token keluaran mencapai 127.63 tok/s, dengan throughput keluaran puncak sebesar 76.00 tok/s.
• Konfigurasi memerlukan menonaktifkan fitur multimodal, menggunakan decoding spekulatif (NEXTN), dan menerapkan patch driver PCIe P2P melalui passthrough VM Proxmox.

Konfigurasi ini memberikan referensi yang berfungsi bagi pengguna yang berencana mendeploy model besar pada perangkat keras konsumen dengan bandwidth NVLink terbatas.