llama.cpp 项目发布了 b9968 版本,引入了针对 Qualcomm Adreno GPU 的 OpenCL 优化。此次更新在 OpenCL 后端添加了 int8 dp4 密集矩阵乘法和混合专家 (MoE) GEMM 功能。

  • 通过 OpenCL 为 Adreno GPU 添加了 int8 dp4 dense 和 MoE GEMM 支持。
  • 作为更新的一部分重构了 OpenCL 代码库。
  • 此版本中禁用了带有 KleidiAI 的 macOS Apple Silicon。
  • 提供了适用于 macOS (Apple Silicon 和 Intel)、Linux、Android、Windows 和 openEuler 的二进制文件,涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 和 HIP 后端。

此版本为各种平台提供了更新的二进制文件,同时启用了针对 Adreno 移动 GPU 的特定性能优化。