एक उपयोगकर्ता ने दो NVIDIA RTX 3090 GPUs पर टर्नरी-क्वांटाइज्ड Qwen3.6 27B मॉडल को सफलतापूर्वक चलाया होने की रिपोर्ट की। सेटअप स्थिर टूल कॉलिंग क्षमताओं के साथ प्रति सेकंड 60 टोकन की थ्रूपुट प्राप्त करता है।
- प्रत्येक GPU को 100k KV cache स्लॉट आवंटित किए गए हैं।
- दोनों कार्ड्स पर कुल VRAM खपत लगभग 21GB है।
- उपयोगकर्ता ने नोट किया कि आउटपुट गुणवत्ता अच्छी प्रतीत होती है, हालांकि कोई कोडिंग टेस्ट नहीं किए गए।