llama.cpp प्रोजेक्ट ने संस्करण b10891 जारी किया, जो PowerVR GPU पर एक महत्वपूर्ण स्थिरता समस्या को संबोधित करता है। अपडेट Vulkan बैकएंड को डीक्वांटाइज़्ड मैट्रिक्स-वेक्टर मल्टीप्लिकेशन (dmmv) संचालन के लिए साझा-स्मृति ह्रास पर वापस जाने के लिए संशोधित करता है।

  • यह परिवर्तन Imagination के स्वामित्व वाले Vulkan कंपाइलर द्वारा सबग्रुप-केवल ह्रास के साथ कंप्यूट पाइलाइन बनाते समय VK_ERROR_UNKNOWN लौटाए जाने से होने वाले क्रैश को हल करता है।
  • यह फिक्स k-quants, i-quants, TQ2_0, MXFP4, और NVFP4 क्वांटीज़ेशन फॉर्मेट पर लागू होता है जो पहले Pixel 11 Pro जैसे डिवाइस पर विफल हो जाते थे।
  • साझा-स्मृति ह्रास वेरिएंट सफलतापूर्वक कंपाइल होता है और q2_K से q6_K तक क्वांटीज़ेशन के लिए CPU संदर्भ परिणामों से मेल खाता है।
  • एक हाइब्रिड वेरिएंट भी उपलब्ध है, लेकिन इसमें महत्वपूर्ण प्रदर्शन हानि होती है, जिससे टोकन थ्रूपुट मानक दर का 27% रह जाता है।

यह अपडेट सुनिश्चित करता है कि इन विशिष्ट क्वांटीज़ेशन फॉर्मेट का उपयोग करने वाले मॉडल PowerVR हार्डवेयर पर क्रैश किए बिना प्रारंभिक टोकन जनरेशन चरण के दौरान चल सकते हैं।