사용자가 4개의 RTX 5060 Ti GPU로 구성된 환경에서 vLLM을 사용하여 새로운 unsloth/Qwen3.6-27B-NVFP4 모델의 프리필 성능과 다양한 동시성 수준에서의 첫 토큰까지의 시간(TTFT)을 평가하기 위해 벤치마크를 수행했습니다.

  • 테스트 환경은 4의 파이프라인 병렬성, 카드당 64GB VRAM, 최대 배치 토큰 수 16K를 사용합니다.
  • 동시성 1에서 평균 TTFT는 3291.57 ms이며 총 토큰 처리량은 211.95 tok/s입니다.
  • 동시성을 4로 증가시키면 평균 TTFT가 3864.81 ms로 상승하고 총 토큰 처리량은 647.57 tok/s가 됩니다.
  • 동시성 8에서 평균 TTFT는 5279.76 ms로 증가하며 총 토큰 처리량은 1023.60 tok/s에 도달합니다.
  • 동시성 12에서 평균 TTFT는 14441.53 ms로 급증하고 총 토큰 처리량은 1047.73 tok/s입니다.
  • 동시성 16에서 평균 TTFT는 37817.92 ms로 크게 상승하며 총 토큰 처리량은 1061.13 tok/s입니다.

이 벤치마크는 특정 하드웨어 구성에서 동시성이 증가함에 따라 프리필 지연 시간과 엔드투엔드 지연 시간이 어떻게 현저히 스케일업되는지를 보여줍니다.