llama.cpp 项目已发布版本 b9814,其中包含针对 AMD mi50 GPU 的 `mul_mat_vecq` 操作的 Vulkan 优化。此次更新附带了跨多个操作系统和硬件架构的全面预构建二进制文件。

  • macOS Apple Silicon (arm64) 和 Intel (x64) 构建版本已提供,Apple Silicon 的 KleidiAI 支持已禁用。
  • Linux 二进制文件涵盖 Ubuntu x64 和 arm64 CPU、Vulkan、ROCm 7.2、OpenVINO 以及 SYCL FP32/FP16 变体。
  • Windows 发布版本包括 CPU、OpenCL Adreno、CUDA 12.4 和 13.3、Vulkan、OpenVINO、SYCL 和 HIP 后端。
  • 提供了 Android arm64 (CPU) 以及针对 310p 和 910b 芯片的 openEuler x86/aarch64 构建版本,openEuler x86 标准构建已禁用。

此发布版本允许用户在各种硬件配置上运行 llama.cpp,包括通过 Vulkan 针对 AMD GPU 的特定优化。