llama.cpp परियोजना ने b10757 बिल्ड जारी किया, जिसमें Vulkan बैकएंड के लिए एक विशिष्ट अनुकूलन शामिल है। यह अपडेट NUM_COLS 4 से अधिक होने पर IQ3_S मैट्रिक्स-वेक्टर गुणा के लिए 4 से अधिक बड़े बैच साइज़ को कुशलता से संभालता है।

  • निर्दिष्ट Vulkan IQ3_S mat-vec कॉन्फ़िगरेशन के लिए n=8 पर 5x प्रदर्शन सुधार प्राप्त करता है।
  • all_types mat-vec स्वीप में k=16*256 पर प्रति क्वांटाइज़ेशन प्रकार दो मामले जोड़ता है।
  • macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) और openEuler के लिए बाइनरी प्रदान करता है।

यह रिलीज़ विशिष्ट क्वांटाइज़ेशन प्रकारों के लिए अपडेट किए गए Vulkan अनुकूलनों के साथ विभिन्न हार्डवेयर प्लेटफ़ॉर्म पर llama.cpp चलाने की सुविधा देती है।