एक उपयोगकर्ता Qwen3.6-27B-UD-Q4_K_XL.gguf का उपयोग करके 180k संदर्भ के साथ llama.cpp पर डुअल-GPU सेटअप पर PCIe ट्रांसफर और प्रदर्शन का बेंचमार्क करता है। टेस्ट बैंडविड्थ उपयोग और थ्रूपुट का मूल्यांकन करने के लिए टेंसर समानांतर और पाइपलाइन समानांतर मोड की तुलना करता है।
- टेंसर समानांतर मोड डिकोड की गति में 47 टोकन प्रति सेकंड हासिल करता है, जबकि पाइपलाइन समानांतर के लिए यह 30 टोकन प्रति सेकंड है।
- पाइपलाइन समानांतर मोड प्रीफिल की उच्च गति देता है, जो टेंसर समानांतर में 650 टोकन प्रति सेकंड की तुलना में 1250 टोकन प्रति सेकंड है।
- nvidia-smi के माध्यम से PCIe बैंडविड्थ मॉनिटरिंग टेंसर समानांतर में डिकोड के दौरान निरंतर ट्रांसफर दिखाती है, जबकि पाइपलाइन समानांतर में प्रीफिल के लिए चरमान पिक्स और कम निरंतर ट्रांसफर दिखाई देता है।
परिणाम सुझाव देते हैं कि GPUs को जोड़ने के लिए राइज़र्स का उपयोग करना प्रदर्शन को महत्वपूर्ण रूप से बाधा नहीं डाल सकता, जो मल्टी-GPU सेटअप के लिए ऐसे हार्डवेयर कॉन्फ़िगरेशन की वैधता का समर्थन करता है।