llama.cpp 项目发布了 b9810 版本,在 HIP/MUSA 供应商头文件中引入了 `cublasSgemmBatched` 的 CUDA 映射。此次更新附带了适用于 macOS、Linux、Windows、Android 和 openEuler 平台的全面预构建二进制文件。

  • 通过拉取请求 #25033,为 HIP/MUSA 供应商头文件添加了 cublasSgemmBatched 映射。
  • 禁用了 macOS Apple Silicon 构建中的 KleidiAI 支持。
  • 提供了 Ubuntu x64/arm64/s390x(CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL FP32/FP16)的二进制文件。
  • 包含了适用于 CPU、OpenCL Adreno、CUDA 12.4/13.3、Vulkan、OpenVINO、SYCL 和 HIP 的 Windows 构建版本。
  • 发布了 iOS XCFramework、Android arm64(CPU)以及 macOS Apple Silicon/Intel 二进制文件。

该发布版通过为 ROCm、SYCL 和 OpenVINO 等各种加速器提供特定构建版本,同时保留标准 CPU 版本,确保了广泛的硬件兼容性。