llama.cpp b9968 menambahkan optimisasi int8 dp4 dense dan MoE prefill untuk GPU Adreno

Proyek llama.cpp merilis versi b9968, memperkenalkan optimisasi OpenCL untuk GPU Qualcomm Adreno. Pembaruan ini menambahkan perkalian matriks padat int8 dp4 dan kemampuan GEMM Mixture of Experts (MoE) ke backend OpenCL.

• Menambahkan dukungan int8 dp4 dense dan MoE GEMM untuk GPU Adreno melalui OpenCL.
• Melakukan refactoring basis kode OpenCL sebagai bagian dari pembaruan ini.
• macOS Apple Silicon dengan KleidiAI dinonaktifkan dalam rilis ini.
• Binari disediakan untuk macOS (Apple Silicon dan Intel), Linux, Android, Windows, dan openEuler di berbagai backend CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, dan HIP.

Rilis ini menyediakan binari yang diperbarui untuk berbagai platform sambil mengaktifkan optimisasi kinerja spesifik untuk GPU mobile Adreno.