두 개의 RTX 5060 16GB GPU와 80GB ECC DDR4가 장착된 서버를 가진 Reddit 사용자는 카드 간 모델 가중치 분할 시 성능을 최적화하기 위한 구성 조언을 구하고 있습니다.

  • 이 설정은 PCIe 3.0을 사용하며, 사용자는 이것이 텐서 병렬 처리 효율성을 저해할 수 있다고 지적합니다.
  • 현재 벤치마크에 따르면 Qwen 3.6 35B 모델의 프롬프트 처리는 초당 약 3200토큰, 생성은 초당 100토큰입니다.
  • 더 작은 Qwen 27B 모델은 텐서 분할 구성에서 프롬프트 처리가 초당 약 600토큰, 생성이 초당 23토큰의 성능을 달성합니다.
  • 사용자는 현재 llama.cpp와 GGUF 형식을 사용하고 있지만 vLLM NVFP4 모델에도 접근 가능합니다.

이 게시물은 듀얼 GPU 하드웨어에서 대규모 언어 모델을 실행할 때 처리량과 지연 시간을 개선하기 위한 설정에 대한 커뮤니티 권장 사항을 수집하는 것을 목표로 합니다.