llama.cpp प्रोजेक्ट ने संस्करण b10795 जारी किया, जिसमें SYCL बैकएंड के लिए एक नई अनुकूलन शामिल है। यह अपडेट GGML_SYCL_ENABLE_FUSION फ्लैग के तहत RMS_NORM+MUL+ADD और ADD+ADD रेसिडुअल चेन के फ्यूजन को सक्षम बनाता है।
- फ्यूज किया गया ADD+ADD ऑपरेशन स्वतंत्र add() फ़ंक्शन के समान ही broadcast इंडेक्सिंग और टाइप मैट्रिक्स का पुन: उपयोग करता है, जो f32, f16, i32, i16, bf16, और गैर-संतत डेटा को सपोर्ट करता है।
- फ्यूजन लॉजिक में असमर्थित संयोजन संगतता बनाए रखने के लिए दो अलग-अलग add() लॉन्च पर वापस आ जाते हैं।
इस रिलीज़ में CUDA, ROCm, Vulkan, और OpenVINO सहित विभिन्न हार्डवेयर एक्सेलेरेटर पर macOS, Linux, Windows, Android, और openEuler के लिए बाइनरी प्रदान की गई हैं।