한 사용자가 네 개의 RTX 5060 Ti GPU에서 Qwen3.6-27B (INT8) 를 벤치마킹한 결과, SGLang이 이전에 초출력 토큰 시간(TTFT) 문제를 겪었던 vLLM보다 더 높은 동시성을 더 효과적으로 관리한다는 것을 발견했습니다.

  • 8개의 동시 요청에서 평균 엔드투엔드 지연 시간은 13679.23 ms, 평균 TTFT는 7504.07 ms를 달성했습니다.
  • 출력 토큰 처리량은 127.63 tok/s에 도달했으며, 최대 출력 처리량은 76.00 tok/s였습니다.
  • 구성에는 멀티모달 기능 비활성화, 추론 디코딩(NEXTN) 사용, 그리고 Proxmox VM 패스쓰루를 통한 PCIe P2P 드라이버 패치 적용이 필요했습니다.

이 구성은 제한된 NVLink 대역폭을 가진 소비자용 하드웨어에 대규모 모델을 배포할 계획인 사용자에게 작동하는 참조를 제공합니다.