llama.cpp 项目发布了版本 b9925，其中包括对其 CUDA 后端的特定更新。此版本增加了对 f16 到 f16 的 GGML_OP_SET_ROWS 操作的支持，填补了 GPU 内核覆盖的空白。

  • 提供 macOS Apple Silicon 和 Intel 的二进制文件，在 Apple Silicon 上明确禁用了 KleidiAI。
  • Linux 构建涵盖 CPU (x64, arm64, s390x) 以及各种加速器，包括 Vulkan、ROCm 7.2、OpenVINO 和 SYCL FP32/FP16。
  • Windows 版本包括 CPU、OpenCL Adreno、Vulkan、HIP、OpenVINO、SYCL 以及 CUDA 12/13 变体。
  • 提供 Android arm64 (CPU) 和 iOS XCFramework 二进制文件用于移动部署。
  • openEuler 支持部分禁用，保留了使用 ACL Graph 的 x86 和 aarch64 架构的特定构建。

此更新通过启用 CUDA 设备上缺失的 set rows 操作并在主要操作系统和 GPU 供应商之间提供预编译二进制文件，确保了 llama.cpp 用户更广泛的硬件兼容性。