本文详细介绍了用于运行本地大型语言模型的 Tesla V100-SXM2-16GB 模块的性能，强调其高 HBM2 带宽是推理的关键优势，尽管缺乏 bf16 或 int8 张量运算。

  • 单模块在 TCC 模式下以 99.8 tok/s 的速度完全在 GPU 上运行 Gemma 4 26B，而 WSL2/MCDM 模式下为 56.8 tok/s。
  • 双模块提供 32GB VRAM 和大约双倍的带宽，允许 Qwen3.6-35B 通过张量拆分完全驻留运行。
  • 在具有短提示的并发多智能体负载下，聚合吞吐量从 1 个智能体的 62.7 tok/s 扩展到 16 个智能体的 338.1 tok/s。
  • 对于真实的约 24k-token 系统提示，8-16 个并发智能体的聚合吞吐量限制在 150-175 tok/s 左右。
  • 驱动程序支持仅限于 R570 到 R580 版本，因为 Volta 支持在 CUDA 13.3/R595 中结束。
  • 双卡设置需要特定的电源瞬态响应处理，以防止负载下的硬重启。

作者指出，虽然 Q4 量化在许多任务中表现良好，但它是长智能体链的弱点，如果 32GB 双模块容量允许，用户可以使用 Q6_K 权重以牺牲并发为代价换取质量。