一位独立研究人员对15张退役的NVIDIA企业级GPU进行了基准测试,包括K80、M40、P100、V100和T40,以评估它们在现代家庭实验室AI任务中的可行性。通过使用针对LLM、计算机视觉、Blender和Whisper定制的Docker化套件,该研究挑战了这些已停产(EOL)显卡已过时的观点。
- 16GB V100成为最佳选择,其性能与更昂贵的T40相当。
- 在使用Pascal架构进行LLM推理时,P40的表现优于P100。
- M60在使用Whisper进行音频转录方面表现出极高的能力,击败了V100,且成本仅为50美元左右。
- 在4U机箱中堆叠显卡时,性能扩展是线性的,尽管混合不同代际可能会更快地限制更快的GPU。
- 任何廉价的X99主板搭配高通道数的Xeon CPU都能为这些GPU提供足够的带宽。
研究结果表明,退役的企业级硬件仍然是家庭实验室爱好者获取VRAM的经济实惠来源,前提是愿意从源代码编译旧软件。