あるユーザーが4枚のRTX 5060 Ti GPU上でQwen3.6-27B (INT8) をベンチマークしたところ、SGLangがvLLMよりも高い同時接続をより効果的に管理できることが判明しました。vLLMは以前、初出トークンまでの時間（TTFT）の問題に悩まされていました。

  • 8つの並列リクエストにおいて、平均エンドツーエンドレイテンシは13679.23 ms、平均TTFTは7504.07 msを達成しました。
  • 出力トークンスループットは127.63 tok/sに達し、ピーク出力スループットは76.00 tok/sでした。
  • 設定にはマルチモーダル機能の無効化、推測的デコーディング（NEXTN）の使用、およびProxmox VMパsthrough経由でのPCIe P2Pドライバーパッチの適用が必要でした。

この構成は、限られたNVLink帯域幅を持つコンシューマー向けハードウェアで大規模モデルを展開する予定のユーザーにとって、動作する参照となります。