본 기사는 Tesla V100-SXM2-16GB 모듈이 로컬 대규모 언어 모델을 실행하는 성능을 상세히 다루며, bf16 또는 int8 텐서 연산을 지원하지 않음에도 불구하고 추론에 있어 높은 HBM2 대역폭을 주요 강점으로 강조합니다.

  • 단일 모듈은 Gemma 4 26B를 GPU 전체에서 실행하여 TCC 모드에서 99.8 tok/s의 처리량을 달성하는 반면, WSL2/MCDM에서는 56.8 tok/s입니다.
  • 듀얼 모듈은 32GB VRAM과 약 두 배의 대역폭을 제공하여 텐서 분할로 Qwen3.6-35B를 완전히 상주 상태로 실행할 수 있습니다.
  • 짧은 프롬프트가 있는 동시 다중 에이전트 부하 하에서, 집계 처리량은 1개 에이전트에서 62.7 tok/s에서 16개 에이전트에서 338.1 tok/s로 확장됩니다.
  • 현실적인 ~24k 토큰 시스템 프롬프트의 경우, 8-16개의 동시 에이전트에 대해 집계 처리량은 약 150-175 tok/s로 제한됩니다.
  • 드라이버 지원은 Volta 지원이 CUDA 13.3/R595에서 종료되므로 R570부터 R580 버전으로 제한됩니다.
  • 듀얼 설정은 부하 시 하드 리부트를 방지하기 위해 특정 PSU 트랜지언트 응답 처리가 필요합니다.

저자는 Q4 양자화가 많은 작업에서 잘 견디지만 긴 에이전트 체인에서는 약점임을 지적하며, 32GB 듀얼 모듈 용량이 허용한다면 Q6_K 가중치를 사용하여 동시성을 품질과 교환할 수 있다고 언급합니다.