llama.cpp b9968 ने Adreno GPU के लिए int8 dp4 dense और MoE prefill अनुकूलन जोड़ा

llama.cpp परियोजना ने संस्करण b9968 जारी किया, जिसमें Qualcomm Adreno GPU के लिए OpenCL अनुकूलन शामिल हैं। इस अपडेट में OpenCl बैकएंड के लिए int8 dp4 घन मैट्रिक्स गुणा और Mixture of Experts (MoE) GEMM क्षमताएं जोड़ी गई हैं।

• OpenCL के माध्यम से Adreno GPU के लिए int8 dp4 dense और MoE GEMM समर्थन जोड़ा गया।
• अपडेट के हिस्से के रूप में OpenCl कोडबेस का पुनर्लेखन किया गया।
• इस रिलीज़ में KleidiAI के साथ macOS Apple Silicon अक्षम है।
• CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL और HIP बैकएंड के लिए macOS (Apple Silicon और Intel), Linux, Android, Windows और openEuler के लिए बाइनरी प्रदान की गई हैं।

यह रिलीज़ विभिन्न प्लेटफ़ॉर्म के लिए अद्यतन बाइनरी प्रदान करती है, जबकि Adreno मोबाइल GPU के लिए विशिष्ट प्रदर्शन अनुकूलन सक्षम करती है।