llama.cpp b9933 रिलीज़ ने उन महत्वपूर्ण OpenCL समस्याओं को संबोधित किया जो ne01 विमा 128 का गुणक न होने पर Q6_K क्वांटाइज्ड वजन के लिए खराब आउटपुट का कारण बनती थीं। इस बग ने granite-3.1-3b-a800m-instruct जैसे मॉडलों को प्रभावित किया, जहां विषम शब्दावली आकार Adreno GPU पर गलत मेमोरी हैंडलिंग को ट्रिगर करते थे।
फ़िक्स ne01 % 128 != 0 होने पर noshuffle पथ से घनत्व मैट्रिक्स गुणन को रूट करता है, डिकोडिंग के लिए फ्लैट GEMV का उपयोग करता है और अन्य आकारों के लिए CPU पर वापस आ जाता है। इसके अतिरिक्त, रिलीज़ ने OpenCL बफर्स के लिए get_alloc_size लागू किया है ताकि एलाइनमेंट स्लैक को आरक्षित किया जा सके, जिससे सबबफर ओवरलैप से पड़ोसी टेन्सर की खामोशी से खराबी को रोका जा सके।
यह अपडेट विशिष्ट एलाइनमेंट बाधाओं वाले उपकरणों पर सही इनफरेंस परिणाम सुनिश्चित करता है और क्वांटाइज्ड वजन हैंडलिंग में मेमोरी खराबी को रोकता है।