Proyek llama.cpp merilis versi b9969, mengatasi masalah stabilitas kritis di backend Vulkan. Pembaruan ini mengalihkan perkalian matriks besar ke ubin sedang pada GPU Adreno, menyelesaikan crash yang terjadi pada jaringan terkuantisasi q4_0 dan ukuran prompt yang lebih panjang karena memori bersama yang tidak mencukupi.
- Memperbaiki llama-cli yang rusak untuk prompt yang lebih panjang dengan mengoptimalkan penggunaan memori bersama dalam matmul Vulkan.
- Menghapus kode perangkat Adreno yang tidak terpakai dan memperbarui implementasi matmul pipeline kecil.
- Menonaktifkan dukungan KleidiAI untuk build macOS Apple Silicon.
- Menyediakan biner untuk Ubuntu (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, HIP, SYCL), macOS, iOS, Android, dan openEuler.
Rilis ini memastikan inferensi yang stabil pada perangkat Adreno dengan jendela konteks yang lebih besar dan mempertahankan kompatibilitas di berbagai backend perangkat keras.