Pengguna mempertimbangkan menambahkan RTX 3090 ketiga untuk paralelisme pipeline

Seorang pengguna yang saat ini menjalankan dual RTX 3090 sedang mempertimbangkan untuk menambahkan kartu ketiga guna mengatasi keterbatasan VRAM yang membatasi permintaan simultan pada panjang konteks 256k. Setup yang diusulkan melibatkan penempatan GPU ketiga secara paralel dengan dua GPU yang ada untuk meningkatkan kapasitas tanpa mengalami bottleneck bandwidth.

• Setup saat ini menggunakan dual RTX 3090 yang menyediakan 48GB VRAM.
• Performa single stream sudah dimaksimalkan di atas 140 TPS pada benchmark standar.
• Pengguna mengalami kesalahan Out Of Memory (OOM) ketika mencoba lebih dari dua permintaan simultan karena keterbatasan KV-Cache.
• Rencana ini melibatkan menghubungkan GPU ketiga melalui PCIe 4.0 dalam konfigurasi paralelisme pipeline.

Penulis mencari umpan balik komunitas tentang apakah setup multi-GPU serupa telah diuji dan hasil apa yang dicapai terkait performa single stream versus concurrent stream.