llama.cpp 项目发布了构建版本 b9894,其中包含针对 Vulkan 后端的修复,以防止因未实现 f16 支持而导致的 GGML_OP_SET_ROWS 故障。

  • Vulkan 实现现在检查 GGML_OP_SET_ROWS 中的 src0 类型,以避免因缺少 f16 支持而导致的崩溃。
  • macOS 构建版本适用于 Apple Silicon (arm64) 和 Intel (x64),Apple Silicon 上禁用了 KleidiAI。
  • Linux 二进制文件涵盖 Ubuntu x64、arm64 和 s390x,支持 CPU、Vulkan、ROCm 7.2、OpenVINO 和 SYCL 后端。
  • Android 支持包括 arm64 CPU 构建。
  • Windows 二进制文件提供 CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL 和 HIP 选项。
  • openEuler x86 和 aarch64 带有 ACL Graph 的构建版本可用,而 openEuler x86 (310p) 已禁用。

此发布版通过解决特定的类型检查问题,确保依赖 Vulkan 推理的用户的稳定性。