Proyek llama.cpp telah merilis versi b9852, memperkenalkan dukungan awal OpenCL untuk format kuantisasi q1_0. Pembaruan ini mencakup kemampuan q1_0 umum dan implementasi GEMM/GEMV Adreno spesifik untuk perangkat OpenCL.
- Dukungan OpenCL awal untuk kuantisasi q1_0
- Ditambahkan kernel GEMM/GEMV Adreno untuk q1_0
- Binari macOS Apple Silicon (arm64) disediakan
- KleidiAI pada macOS Apple Silicon dinonaktifkan dalam rilis ini
- Build Ubuntu tersedia untuk CPU, Vulkan, ROCm 7.2, OpenVINO, dan SYCL
- Build Windows mencakup CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP, dan Adreno OpenCL
- Binari Android arm64 (CPU) dirilis
- Dukungan openEuler untuk arsitektur x86 dan aarch64 dengan ACL Graph diaktifkan
Rilis ini memperluas kompatibilitas perangkat keras dengan mengaktifkan inferensi q1_0 yang efisien pada perangkat OpenCL dan menyediakan binari yang diperbarui di berbagai sistem operasi dan akselerator.