llama.cpp 项目发布了 b10418 版本,引入了对主机固定内存的支持,以改善 SYCL 主机到设备的内存访问。此更新解决了后端实现中的线程安全问题。

  • 为 SYCL 主机固定内存添加了 ggml_backend_sycl_host_buffer_type_get_max_size 支持。
  • 修复了 SYCL 后端中的线程安全问题。
  • 包含适用于 macOS(Apple Silicon 和 Intel)、Linux(CPU、Vulkan、ROCm、OpenVINO、SYCL FP32/FP16)、Android、Windows(CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 7.14)和 openEuler 的二进制文件。
  • 为所有平台提供统一的 UI 包。

该版本通过改进线程安全性,确保在 SYCL 兼容硬件上实现主机和设备内存之间更快的数据传输。