llama.cpp 项目发布了版本 b9936,其中包括一项修复,可在拆分提示批次时正确遵守 min-step 参数。

  • 提供 macOS Apple Silicon 和 Intel 的二进制文件,Apple Silicon 上禁用了 KleidiAI 支持。
  • Linux 构建涵盖 CPU、Vulkan、ROCm 7.2、OpenVINO 和 SYCL 后端的 x64、arm64 和 s390x 架构。
  • 提供 Android arm64 (CPU) 二进制文件。
  • Windows 构建支持 x64 和 arm64 CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL 和 HIP。
  • openEuler 支持在主分支上已禁用,但可用于特定的硬件配置,如 310p 和 910b ACL Graph。
  • 发布包中还包含一个独立的用户界面二进制文件。