한 사용자가 Qwen3.6-27B-UD-Q4_K_XL.gguf와 함께 llama.cpp를 사용하여 듀얼 GPU 환경에서 PCIe 전송 및 성능을 벤치마킹했습니다. 이 테스트는 대역폭 사용량과 처리량을 평가하기 위해 텐서 병렬 모드와 파이프라인 병렬 모드를 비교합니다.

  • 텐서 병렬 모드는 파이프라인 병렬의 초당 30 토큰에 비해 초당 47 토큰의 디코딩 속도를 달성했습니다.
  • 파이프라인 병렬 모드는 텐서 병렬의 초당 650 토큰과 비교하여 초당 1250 토큰의 더 높은 프리필 속도를 보여줍니다.
  • nvidia-smi를 통한 PCIe 대역폭 모니터링은 텐서 병렬에서 디코딩 동안 지속적 전송이 발생하는 반면, 파이프라인 병렬에서는 가변적인 프리필 피크와 낮은 지속적 전송을 보입니다.

이 결과는 GPU를 연결하기 위해 라이저를 사용하는 것이 성능에 상당한 병목 현상을 일으키지 않을 수 있음을 시사하며, 멀티 GPU 환경에서 이러한 하드웨어 구성의 타당성을 지지합니다.