llama.cpp 项目发布了构建版本 b9894,其中包含针对 Vulkan 后端的修复,以防止因未实现 f16 支持而导致的 GGML_OP_SET_ROWS 故障。
- Vulkan 实现现在检查 GGML_OP_SET_ROWS 中的 src0 类型,以避免因缺少 f16 支持而导致的崩溃。
- macOS 构建版本适用于 Apple Silicon (arm64) 和 Intel (x64),Apple Silicon 上禁用了 KleidiAI。
- Linux 二进制文件涵盖 Ubuntu x64、arm64 和 s390x,支持 CPU、Vulkan、ROCm 7.2、OpenVINO 和 SYCL 后端。
- Android 支持包括 arm64 CPU 构建。
- Windows 二进制文件提供 CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL 和 HIP 选项。
- openEuler x86 和 aarch64 带有 ACL Graph 的构建版本可用,而 openEuler x86 (310p) 已禁用。
此发布版通过解决特定的类型检查问题,确保依赖 Vulkan 推理的用户的稳定性。