llama.cpp 项目发布了构建版本 b10011,其中包括对服务器提示缓存状态所有权的重构。此更新将提示状态数据移至 `server_prompt_cache`,并确保在清除提示时清除检查点。

  • 服务器:处理批量槽位被清除的情况
  • macOS/iOS:适用于 Apple Silicon (arm64)、Intel (x64) 和 iOS XCFramework 的构建;Apple Silicon 上的 KleidiAI 已禁用
  • Linux:适用于 Ubuntu x64/arm64/s390x CPU、Vulkan、ROCm 7.2、OpenVINO 和 SYCL FP32/FP16 的二进制文件
  • Android:arm64 CPU 二进制文件
  • Windows:适用于 CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL 和 HIP 的二进制文件
  • openEuler:适用于 310p 和 910b (ACL Graph) 的 x86 和 aarch64 构建;x86 构建已禁用
  • UI:标准 UI 二进制文件