एक रेडिट उपयोगकर्ता ने Qwen 3.6 और Gemma 4 मॉडलों के कोड जनरेशन क्षमताओं पर विभिन्न क्वांटीकरण स्तरों का प्रभाव कैसे पड़ता है, इसकी तुलना करने के लिए "Döner Bench" का दूसरा राउंड किया।
- टेस्ट में प्रत्येक मॉडल वेरिएंट के लिए समान प्रॉम्प्ट्स का उपयोग करके एक घूमते हुए कबाब स्किवर की कैनवास एनिमेशन के साथ एक HTML फ़ाइल बनाना शामिल था।
- परिणामों को प्रत्येक मॉडल और क्वांटीकरण संयोजन को नौ बार चलाकर, लूप या टाइमआउट को छोड़ते हुए सबसे अच्छी व्यक्तिगत आउटपुट का चयन करके एकत्र किया गया।
- Qwen 3.6 27B IQ2 M ने कम फिडेलिटी के बावजूद कुछ सबसे अच्छे परिणाम दिए, जबकि Gemma 4 31B ने कम IQ2 क्वांटीकरण पर भी स्थिरता दिखाई।
- Q8 K XL जैसे उच्च बिटरेट्स आमतौर पर एनिमेशन में अधिक "बारीकी" को बनाए रखते हैं, जबकि IQ2 जैसे निचले बिट्स दृश्य कलाओं या अस्थिरता का कारण बनते हैं।
तुलना इस बात को उजागर करती है कि स्थानीय LLMs के लिए जनरेटेड कोड और रेंडरिंग की गुणवत्ता पर क्वांटीकरण कैसे प्रभाव डालता है।