एक स्वतंत्र शोधकर्ता ने चार व्यापक रूप से उपयोग किए जाने वाले पोस्ट-ट्रेनिंग क्वांटीज़ेशन विधियों — AWQ, GPTQ, OWQ, और SpQR — का ऑडिट किया यह निर्धारित करने के लिए कि क्या उनके चैनल-महत्व स्कोर वजन संवेदनशीलता को सटीक रूप से दर्शाते हैं। INT3 group-128 सेटिंग्स के साथ Qwen2.5-0.5B, Pythia-410M, और SmolLM2-360M मॉडल्स में व्यक्तिगत वजन चैनलों को विक्षुब्ध करके, अध्ययन ने फॉरवर्ड-KL डायवर्जेंस के माध्यम से वास्तविक नुकसान को मापा।
- चारों मानदंडों में उच्च सहमति दिखाई दी, लेकिन यह मुख्य रूप से एक साझा इनपुट सांख्यिकी को साझा करने के कारण यांत्रिक था, सत्य की ओर अभिसरण होने के बजाय।
- जब उस साझा सांख्यिकी को हटा दिया जाता है, तो चार में से तीन विधियाँ वास्तविक संवेदनशीलता को लगभग ट्रैक करना बंद कर देती हैं।
- एक ग्रेडिएंट-आधारित स्कोर मजबूत बना रहा और परीक्षण प्रक्रिया के दौरान टिका रहा।
- लेखक नोट करते हैं कि एंड-टू-एंड वैलिडेशन अक्सर खराब महत्व चयन को छिपा देता है क्योंकि त्रुटि-प्राप्ति चरण बुरे चयनों को कवर करते हैं।
शोधकर्ता संभावित विधियागत कमियों पर प्रतिक्रिया चाहते हैं और arXiv (cs.LG) पर पेपर जमा करने के लिए एक समर्थन की तलाश में हैं।