llama.cpp b10831 रिलीज ने Vulkan बैकएंड के लिए TQ1_0 क्वांटीज़ेशन सहायता पेश की है, जिससे मैट्रिक्स गुणा, mat-vec, डिक्वांटीज़ेशन और get_rows जैसे ऑपरेशन संभव हुए हैं। यह अपडेट Metal बैकएंड को असमर्थित TQ1_0 ऑपरेशन को उचित रूप से अस्वीकार करने के लिए ठीक करता है, सुनिश्चित करते हुए कि वे CPU निष्पादन पर फॉलबैक हो जाएं।
- Vulkan कार्यान्वयन रजिस्टर समस्याओं से बचने के लिए TQ1_0 की 3 की घातों को एक 32-बिट स्थिरांक में पैक करता है।
- types.glsl में साझा डिकोड हेल्पर्स विभिन्न शेडर फ़ाइलों में दोहराए गए तर्क को प्रतिस्थापित करते हैं।
- स्टैंडअलोन डिक्वांटीज़ेशन शेडर के वर्कग्रुप हर की गणना में एक बग ठीक किया गया है।
- Metal बैकएंड अब GET_ROWS और mat-mul के लिए TQ1_0 को अस्वीकार करता है, मौजूदा NVFP4 हैंडलिंग से मेल खाता है।
- परीक्षण मामलों को कम किया गया है और टिप्पणियों को ASCII में मानकीकृत किया गया है।
Vulkan परिवर्तनों की AMD gfx1151 पर पुष्टि की गई है, जहाँ सभी प्रासंगिक बैकएंड ऑपरेशन परीक्षणों में सफल रहे हैं।