Le projet llama.cpp a publié la version b9968, introduisant des optimisations OpenCL pour les GPU Qualcomm Adreno. Cette mise à jour ajoute le support de la multiplication matricielle dense int8 dp4 et des GEMM Mixture of Experts (MoE) au backend OpenCL.

  • Ajout du support int8 dp4 dense et MoE GEMM pour les GPU Adreno via OpenCL.
  • Refonte de la base de code OpenCL dans le cadre de cette mise à jour.
  • macOS Apple Silicon avec KleidiAI est désactivé dans cette version.
  • Des binaires sont fournis pour macOS (Apple Silicon et Intel), Linux, Android, Windows et openEuler sur les backends CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL et HIP.

Cette version fournit des binaires mis à jour pour diverses plateformes tout en activant des optimisations de performance spécifiques pour les GPU mobiles Adreno.