llama.cpp परियोजना ने संस्करण b10632 जारी किया, जिसने ggml-metal के माध्यम से Mamba-2 प्रीफिल के लिए एक चंक्ड SSD MMA अनुकूलन पेश किया।
- Metal पर मल्टी-टोकन प्रीफिल के लिए WIP चंक्ड SSD SSM_SCAN kernels जोड़े गए।
- क्रमिक टेल के साथ MMA के पक्ष में स्केलर SSD पथ को हटा दिया गया।
- क्रमागत kernel रोलबैक स्नैपशॉट्स के लिए K tokens आरक्षित किए और MMA और seq tail के बीच संवहन को रीसेट किया।
- एक टेम्पलेट के साथ ssm_scan टेल को विशेष बनाया और स्पष्टता के लिए स्थिरांक अपडेट किए।
यह अद्यतन CPU, CUDA, ROCm, Vulkan और OpenVINO सहित विभिन्न हार्डवेयर बैकएंड्स पर macOS, iOS, Linux, Windows, Android और openEuler के लिए बाइनरी प्रदान करता है।