दो RTX 5060 16GB GPUs और 80GB ECC DDR4 से लैस सर्वर वाले एक Reddit उपयोगकर्ता कार्ड्स पर मॉडल वजन को विभाजित करते समय प्रदर्शन को अनुकूलित करने के लिए कॉन्फ़िगरेशन सलाह मांग रहा है।
- सेटअप PCIe 3.0 का उपयोग करता है, जिसे उपयोगकर्ता ने टेंसर समानांतरता दक्षता में बाधा डालने वाला बताया है।
- वर्तमान बेंचमार्क Qwen 3.6 35B मॉडल के साथ प्रॉम्प्ट प्रसंस्करण के लिए प्रति सेकंड लगभग 3200 टोकन और जनरेशन के लिए प्रति सेकंड 100 टोकन दिखाते हैं।
- छोटा Qwen 27B मॉडल टेंसर विभाजन कॉन्फ़िगरेशन में प्रॉम्प्ट प्रसंस्करण के लिए प्रति सेकंड लगभग 600 टोकन और जनरेशन के लिए प्रति सेकंड 23 टोकन प्राप्त करता है।
- उपयोगकर्ता वर्तमान में llama.cpp के साथ GGUF फॉर्मेट का उपयोग कर रहा है लेकिन उसके पास vLLM NVFP4 मॉडल तक पहुंच भी है।
पोस्ट का उद्देश्य डुअल GPU हार्डवेयर पर बड़े भाषा मॉडल चलाते समय थ्रूपुट और लेटेंसी को बेहतर बनाने के लिए सेटिंग्स पर समुदाय की सिफारिशें एकत्र करना है।