एक उपयोगकर्ता जो वर्तमान में डुअल RTX 3090 चला रहा है, VRAM सीमाओं को दूर करने के लिए एक तीसरा कार्ड जोड़ने पर विचार कर रहा है जो 256k संदर्भ लंबाई पर समानांतर अनुरोधों को प्रतिबंधित करता है। प्रस्तावित सेटअप में क्षमता बढ़ाने के लिए मौजूदा दो GPU के साथ पाइपलाइन समानांतर में तीसरे GPU को रखने का समावेश है, बिना बैंडविड्थ बॉटलनेक के।
- वर्तमान सेटअप डुअल RTX 3090 का उपयोग करता है जो 48GB VRAM प्रदान करता है।
- सिंगल स्ट्रीम प्रदर्शन पहले ही मानक बेंचमार्क्स पर 140 TPS से अधिक पर अधिकतम हो चुका है।
- उपयोगकर्ता KV-Cache बाधाओं के कारण दो से अधिक समानांतर अनुरोध करने का प्रयास करते समय Out Of Memory (OOM) त्रुटियों का अनुभव करता है।
- योजना में पाइपलाइन समानांतर विन्यास में PCIe 4.0 के माध्यम से एक तीसरा GPU जोड़ने का समावेश है।
लेखक समुदाय की प्रतिक्रिया चाहता है कि क्या इसी तरह के मल्टी-GPU सेटअप का परीक्षण किया गया है और सिंगल स्ट्रीम बनाम कॉन्करेंट स्ट्रीम प्रदर्शन के संबंध में क्या परिणाम प्राप्त किए गए हैं।