llama.cpp प्रोजेक्ट ने बिल्ड b10673 जारी किया, जिसमें Apple M4 हार्डवेयर के लिए विशिष्ट प्रदर्शन अनुकूलन शामिल हैं। यह अपडेट ggml-metal-tuning मॉड्यूल में fa_vec_tuned_table रिकॉर्ड्स को पेश करता है ताकि Metal बैकएंड की दक्षता बढ़ाई जा सके।
- 10 GPU कोर वाले M4 चिप्स पर F16, Q4_0, Q4_1, Q5_0, Q5_1, और Q8_0 क्वांटाइजेशन के लिए ट्यून्ड लुकअप टेबल्स जोड़े गए हैं।
- macOS Apple Silicon (arm64), macOS Intel (x64), और iOS XCFramework के लिए बाइनरी प्रदान किए गए हैं।
- CPU, Vulkan, ROCm 7.14, OpenVINO, और SYCL बैकएंड्स पर Ubuntu x64 और arm64 के लिए Linux बिल्ड्स शामिल हैं।
- CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, और ROCm 7.14 के लिए Windows बाइनरी उपलब्ध कराई गई हैं।
- Android arm64 (CPU) सहायता और UI बाइनरीज जोड़ी गई हैं।
इस रिलीज़ यह सुनिश्चित करती है कि Apple M4 डिवाइस पर उपयोगकर्ते तेज़ इनफरेंस के लिए अनुकूलित Metal kernels का लाभ उठा सकें।