O projeto llama.cpp lançou a versão b9968, introduzindo otimizações OpenCL para GPUs Qualcomm Adreno. A atualização adiciona capacidades de multiplicação de matrizes densas int8 dp4 e GEMM Mixture of Experts (MoE) ao backend OpenCL.
- Adicionado suporte para int8 dp4 dense e GEMM MoE para GPUs Adreno via OpenCL.
- Refatoração da base de código OpenCL como parte da atualização.
- macOS Apple Silicon com KleidiAI está desativado nesta versão.
- Binários estão disponíveis para macOS (Apple Silicon e Intel), Linux, Android, Windows e openEuler através dos backends CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL e HIP.
Esta versão fornece binários atualizados para várias plataformas, enquanto habilita otimizações específicas de desempenho para GPUs móveis Adreno.