デュアルRTX 3090で稼働中のユーザーは、256kコンテキスト長における同時リクエスト数を制限するVRAMの制約に対処するため、3枚目のカードを追加することを検討しています。提案されているセットアップでは、既存の2枚のGPUとパイプライン並列に3枚目のGPUを配置し、帯域幅のボトルネックを引き起こすことなく容量を増加させます。

  • 現在のセットアップはデュアルRTX 3090を使用しており、VRAMは48GBです。
  • 単一ストリームのパフォーマンスは標準ベンチマークで140 TPS以上とすでに最大化されています。
  • ユーザーはKV-Cacheの制約により、2つ以上の同時リクエストを試みるとメモリ不足（OOM）エラーが発生します。
  • 計画では、PCIe 4.0を介して3枚目のGPUをパイプライン並列構成で接続することです。

著者は、同様のマルチGPUセットアップがテストされたかどうか、および単一ストリームと同時ストリームのパフォーマンスに関してどのような結果が得られたかについて、コミュニティからのフィードバックを求めています。