llama.cpp प्रोजेक्ट ने संस्करण b9901 जारी किया, जिसमें Intel हार्डवेयर पर प्रदर्शन बढ़ाने के लिए SYCL बैकएंड को विशिष्ट अपडेट शामिल हैं। रिलीज में CPU, CUDA, ROCm, Vulkan और अन्य बैकएंड्स के लिए macOS, Linux, Windows, Android और openEuler के लिए बाइनरी उपलब्ध कराई गई हैं।
- GPU उपयोग में सुधार करने के लिए DMMV पथ पर K_QUANTS_PER_ITERATION को 1 पर सेट करता है।
- पुनः क्रमबद्ध सुविधा को सक्षम करने के लिए ggml_sycl_supports_reorder_dmmv गेट को ठीक करता है।
- उचित आवंटन सुनिश्चित करने के लिए ggml_backend_sycl_buffer_init_tensor में अनुपलब्ध प्रकार जोड़ता है।
- SYCL ऑपरेशन में QK_5 के लिए WARP_SIZE के साथ QK_WARP_SIZE को प्रतिस्थापित करता है।
इन बदलावों के परिणामस्वरूप Intel B70 GPU पर प्रति सेकंड टोकन (tg t/s) में महत्वपूर्ण वृद्धि होती है।