llama.cpp 项目发布了 b9940 版本,在 `llama-bench` 中引入了对 `params.offline` 参数的初始化。此次更新附带了针对多个操作系统和硬件加速器的全面预构建二进制文件集。

  • macOS Apple Silicon (arm64) 和 Intel (x64) 构建版本可用,已禁用 KleidiAI 支持。
  • Linux 二进制文件涵盖 Ubuntu x64 和 arm64 CPU、Vulkan、ROCm 7.2、OpenVINO 以及 SYCL FP32/FP16。
  • Windows 发行版包括 CPU、OpenCL Adreno、CUDA 12.4/13.3、Vulkan、OpenVINO、SYCL 和 HIP 变体。
  • 提供了用于移动部署的 Android arm64 (CPU) 和 iOS XCFramework 二进制文件。
  • 包含支持 ACL Graph 的 x86 和 aarch64 架构的 openEuler 构建版本。

此次发布提供了用于离线参数基准测试的更新工具,以及针对本地模型推理的广泛跨平台兼容性。