एक रेडिट उपयोगकर्ता ने 64GB VRAM के साथ कोडिंग कार्यों के लिए Qwen 3.5 122b-a10b मॉडल (UD-IQ4_NL) के unsloth संस्करण पर निर्णय लेने की रिपोर्ट दी है।
- मॉडल में 100k bf16 संदर्भ खिड़की है और यह लगभग 30 टोकन प्रति सेकंड पर चलता है।
- हार्डवेयर सीमाओं को पूरा करने के लिए CPU/RAM में केवल कुछ परतें लोड की जाती हैं।
- उपयोगकर्ता विशिष्ट आवश्यकताओं के आधार पर Qwen 3.6 मॉडल भी उपयोग करता है, लेकिन 122b-a10b वेरिएंट को अपनी दैनिक ड्राइवर मानता है।