llama.cpp प्रोजेक्ट ने बिल्ड b11064 जारी किया, जो dsv4_hc_pre kernel में मनमाना हेड काउंट (hc) का समर्थन करने के लिए metal backend को संशोधित करता है। पहले, इन kernels में hc = 4 हार्डकोडेड था, जिसके कारण अन्य हेड काउंट वाले ऑपरेशन CPU निष्पादन पर वापस चले जाते थे।

  • परिवर्तन n_hc को एक फ़ंक्शन स्थिरांक के रूप में पास करता है और सीधे लोड के साथ दोनों pre kernels में इसके लिए लूप करता है।
  • hc मान 1, 2, 3, 5, 8 और 65 के लिए test-backend-ops मामले जोड़े गए हैं, जो gated और not gated दोनों परिदृश्यों को कवर करते हैं।
  • यह अपडेट क्रॉस-लेयर रीजिड्युअल स्टैक में गतिशील बैंक्ड चेकपॉइंट काउंट का समर्थन करके Kimi-K3 जैसे मॉडलों को GPU पर कुशलता से चलने सक्षम बनाता है।

रिलीज़ में CPU, CUDA, ROCm, Vulkan, OpenVINO और SYCL सहित विभिन्न हार्डवेयर backends के लिए macOS, Linux, Windows, Android और openEuler के लिए बाइनरी शामिल हैं।