독립 연구자는 K80, M40, P100, V100, T40을 포함한 15대의 해지된 NVIDIA 엔터프라이즈 GPU를 벤치마킹하여 현대 홈랩 AI 작업에 대한 실행 가능성을 평가했습니다. LLM, 컴퓨터 비전, Blender, Whisper에 걸친 커스텀 Docker화된 스위트(suite)를 사용하여 이 연구는 이러한 EOL 카드들이 시대에 뒤떨어졌다는 통념에 의문을 제기합니다.

  • 16GB V100이 가장 이상적인 선택지로 부상했으며, 더 비싼 T40과 동등한 성능을 보였습니다.
  • Pascal 아키텍처를 사용한 LLM 추론에서 P40은 P100보다 우수한 성능을 보였습니다.
  • M60은 Whisper를 사용한 오디오 전사 작업에서 매우 뛰어난 능력을 입증했으며, V100을 압도하고 가격은 약 50달러에 불과했습니다.
  • 4U 케이스에 카드를 적재할 때 성능 스케일링은 선형적이지만, 세대를 혼합하면 더 빠른 GPU가 병목 현상을 일으킬 수 있습니다.
  • 저렴한 X99 마더보드와 높은 레인 수를 가진 Xeon CPU를 조합하면 이러한 GPU에 충분한 대역폭을 제공할 수 있습니다.

이 결과는 소스에서 구형 소프트웨어를 컴파일할 의사가 있는 홈랩 애호가들에게 해지된 엔터프라이즈 하드웨어가 VRAM의 비용 효율적인 출처로 남아 있음을 시사합니다.