一位目前运行双 RTX 3090 的用户正在考虑添加第三张显卡，以解决在 256k 上下文长度下限制并发请求的 VRAM 问题。拟议的配置涉及将第三张 GPU 与现有的两张 GPU 进行流水线并行连接，以增加容量而不受带宽瓶颈的影响。

  • 当前设置使用双 RTX 3090，提供 48GB VRAM。
  • 单流性能在标准基准测试中已最大化，超过 140 TPS。
  • 由于 KV-Cache 限制，用户尝试进行超过两个并发请求时会遇到内存不足 (OOM) 错误。
  • 计划通过 PCIe 4.0 连接第三张 GPU，采用流水线并行配置。

作者正在寻求社区反馈，了解是否测试过类似的 multi-GPU 设置，以及在单流与并发流性能方面取得了什么结果。