llama.cpp प्रोजेक्ट ने संस्करण b10816 जारी किया है, जिसमें Apple Silicon डिवाइसों के लिए Metal बैकएंड में अपडेट शामिल हैं। रिलीज़ विशेष रूप से M3 चिप आर्किटेक्चर के लिए शेष fast-vector ट्यूनिंग जोड़ने पर केंद्रित है।

  • fa_vec_tuned_table में M3 प्रविष्टियाँ जोड़ी गईं।
  • ggml-metal-tuning में q4_0, q4_1, q5_0 और q5_1 क्वांटाइजेशन शामिल हैं।
  • macOS (Apple Silicon और Intel), iOS, Linux, Windows, Android और openEuler के लिए बाइनरी प्रदान की गईं।
  • CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL, CUDA 12/13 और OpenCL Adreno सहित विभिन्न बैकएंड का समर्थन करता है।

यह अपडेट M3 हार्डवेयर के लिए अनुकूलित प्रदर्शन सुनिश्चित करता है और कई ऑपरेटिंग सिस्टम और GPU आर्किटेक्चर पर पूर्व-बिल्ड बाइनरी की उपलब्धता को बढ़ाता है।