लेख Tesla V100-SXM2-16GB मॉड्यूल्स की प्रदर्शन विवरण देता है, जो स्थानीय बड़े भाषा मॉडल्स चलाने के लिए उपयोग किए जाते हैं, और इनके उच्च HBM2 बैंडविड्थ को एक प्रमुख संपत्ति के रूप में उजागर करता है, भले ही वे bf16 या int8 टेंसर ऑप्स से रहित हों।
- एकल मॉड्यूल Gemma 4 26B को पूरी तरह से GPU पर चलाता है, TCC मोड में 99.8 tok/s प्राप्त करता है जबकि WSL2/MCDM में 56.8 tok/s होता है।
- द्वि मॉड्यूल 32GB VRAM और लगभग दोगुना बैंडविड्थ प्रदान करते हैं, जिससे Qwen3.6-35B टेंसर विभाजन के साथ पूरी तरह से आवासीय रूप से चल सकता है।
- संयुक्त बहु-एजेंट लोड के तहत छोटे प्रॉम्प्ट्स के साथ, समग्र थ्रूपुट 1 एजेंट (62.7 tok/s) से 16 एजेंट्स (338.1 tok/s) तक बढ़ता है।
- वास्तविक ~24k-टोकन सिस्टम प्रॉम्प्ट्स के साथ, समग्र थ्रूपुट 8-16 संयुक्त एजेंट्स के लिए लगभग 150-175 tok/s तक सीमित होता है।
- ड्राइवर समर्थन R570 से R580 संस्करणों तक सीमित है, क्योंकि Volta का समर्थन CUDA 13.3/R595 में समाप्त हो जाता है।
- द्वि सेटअप के लिए भार के तहत कठोर रीबूट्स को रोकने के लिए विशिष्ट PSU ट्रांजिएंट प्रतिक्रिया हैंडलिंग की आवश्यकता होती है।
लेखक ने नोट किया है कि जबकि Q4 क्वांटीकरण कई कार्यों में ठीक काम करता है, यह लंबे एजेंट चेन्स के लिए एक कमजोर बिंदु है, और उपयोगकर्ता 32GB द्वि-मॉड्यूल क्षमता की अनुमति देने पर Q6_K वजन का उपयोग करके गुणवत्ता के लिए संयुक्तता को ट्रेड कर सकते हैं।