r/LocalLLaMA पर एक उपयोगकर्ता अपनी वर्तमान सेटअप में एक दूसरी RTX 3060 जोड़ने पर विचार कर रहा है, जिसमें i5-8500, 48 GB DDR4 और 12 GB VRAM के साथ एक RTX 3060 शामिल है। वह फिलहाल Gemma 4 26B-A4B (Q4_K_M) चला रहा है लेकिन उसे लगता है कि इसमें अंतर्दृष्टि की कमी है, जबकि 31B मॉडल अपर्याप्त VRAM के कारण बहुत धीमा है।
- उपयोगकर्ता जानना चाहता है कि क्या दो RTX 3060 एक 31B घन मॉडल का Q4 या Q5 क्वांटीकरण लोड कर सकते हैं।
- वह चिंतित है कि दूसरा PCIe स्लॉट x16 के बजाय x4 के रूप में वायर किया गया है, जिससे प्रदर्शन पर प्रभाव पड़ सकता है।
- उपयोगकर्ता पूछता है कि लेयर स्प्लिटिंग x4 स्लॉट की सीमित बैंडविड्थ से होने वाले बॉटलनेक को कम करने में मदद करेगी या नहीं।