一位用户在四块RTX 5060 Ti GPU上对Qwen3.6 27B (INT8)进行基准测试，发现SGLang比之前存在首字延迟（TTFT）问题的vLLM能更有效地管理更高的并发。

  • 在8个并发请求下，该配置实现了13679.23毫秒的平均端到端延迟和7504.07毫秒的平均TTFT。
  • 输出令牌吞吐量达到127.63 tok/s，峰值输出吞吐量为76.00 tok/s。
  • 配置需要禁用多模态功能，使用推测解码（NEXTN），并通过Proxmox VM直通应用PCIe P2P驱动程序补丁。

此配置为计划在具有有限NVLink带宽的消费级硬件上部署大型模型的用户提供了可行的参考。