एक नया अध्ययन बड़े भाषा मॉडलों में प्रशिक्षण-उपरांत क्वांटीकरण के मूल्यांकन के लिए सटीकता और भ्रमिता पर निर्भरता को चुनौती देता है, यह दिखाते हुए कि ये मापदंड महत्वपूर्ण व्यवहारिक परिवर्तनों को पकड़ने में विफल रहते हैं। लेखकों ने "सहीता सहमति" का परिचय दिया, जो आधार और क्वांटीकृत मॉडलों के बीच पूर्वानुमान ओवरलैप को मापने वाली एक निर्णय-स्तर मापदंड है, यह प्रकट करता है कि व्यवहारिक विचलन मध्यम क्वांटीकरण के तहत उभरता है भले ही कार्य प्रदर्शन बनाए रहता हुआ प्रतीत हो।
- ध्यान वजन पर एक संरचनात्मक ऑपरेटर के रूप में क्वांटीकरण का विश्लेषण कम बिट-चौड़ाई पर गैर-रैखिक ब्रेकपॉइंट की पहचान करता है।
- प्रश्न और कुंजी प्रक्षेपनों को मान और आउटपुट प्रक्षेपनों की तुलना में विकृति के प्रति लगातार अधिक संवेदनशील पाया गया है।
- अध्ययन 8-बिट से लेकर 2-बिट तक के कई मॉडलों और क्वांटीकरण योजनाओं को कवर करता है।
ये निष्कर्ष आधार और क्वांटीकृत मॉडलों के बीच समतुल्यता की एक भ्रम को उजागर करते हैं, पारंपरिक प्रदर्शन मापों के परे व्यवहारिक मूल्यांकन मापदंडों को अपनाने के लिए प्रेरित करते हैं।