llama.cpp प्रोजेक्ट ने बिल्ड b10863 जारी किया, जिसमें `ne00` 1024 से कम होने पर Metal पर `mul_mv_iq3_xxs` कर्नेल में आइडल थ्रेड्स के लिए एक मरम्मत शामिल है। अपडेट विशिष्ट मैट्रिक्स आयामों के लिए एक अलग स्प्लिट कर्नेल पेश करके हाफ-आइडल simdgroup मुद्दे को हल करता है।

  • `ne00 < 1024` के लिए `kernel_mul_mv_iq3_xxs_f32` में हाफ-आइडल simdgroup की मरम्मत।
  • `N_R0_IQ3_XXS = 4` बनाए रखता है और जब `ne00/32 < 32` और 32 को विभाजित करता है तो एक अलग 8-पंक्ति स्प्लिट कर्नेल डिस्पैच करता है।
  • एक अलग कर्नेल इन्स्टेंशिएशन के बजाय `iq3_xxs` रो स्प्लिट चुनने के लिए फंक्शन कॉन्सटेंट का उपयोग करता है।

इस रिलीज में CPU, CUDA, ROCm, Vulkan, और OpenVINO सहित विभिन्न हार्डवेयर बैकएंड्स पर macOS, iOS, Linux, Android, Windows, और openEuler के लिए बाइनरीज़ प्रदान की गई हैं।