llama.cpp 项目已发布 b9816 版本,其中包括与 ggml 库的同步。此更新提供了适用于 macOS、iOS、Linux、Windows、Android 和 openEuler 平台的预构建二进制文件。

  • macOS Apple Silicon (arm64) 和 Intel (x64) 构建版本可用,但 KleidiAI 支持已禁用。
  • Linux 二进制文件涵盖 Ubuntu x64 和 arm64 CPU、Vulkan、ROCm 7.2、OpenVINO 以及 SYCL FP32/FP16 变体。
  • Windows 发行版包括 CPU、CUDA 12.4/13.3、Vulkan、OpenVINO、SYCL、HIP 和 OpenCL Adreno 选项。
  • 提供 Android arm64 (CPU) 和 iOS XCFramework 二进制文件以用于移动部署。
  • openEuler 支持包括 x86 和 aarch64 构建版本并带有 ACL Graph,但标准 openEuler 已禁用。

此发布使用户能够利用最新的 ggml 后端在多种硬件架构和操作系统上运行 llama.cpp。