llama.cpp 项目发布了构建版本 b10043，引入了对 CUDA 虚拟设备的支持。此更新在利用虚拟设备时禁用了 NCCL 路径，并包括代码重构以及带有标签的虚拟设备描述。

  • 后端添加了对 CUDA 虚拟设备的支持。
  • 使用虚拟设备时禁用 NCCL 通信路径。
  • 虚拟设备现在在描述中标记了标签，并添加了 GPUx2 服务器 CI 作业。
  • 提供适用于 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）和 openEuler 的二进制文件。

此发布使用户能够在利用 CUDA 虚拟设备的系统上运行 llama.cpp，同时在广泛的硬件架构和操作系统之间保持兼容性。