llama.cpp 项目发布了 b10042 版本,引入了在 Volta 和 Turing 架构 GPU 上启用 CUDA 图的支持。

  • 该版本包含适用于 macOS(Apple Silicon 和 Intel)、Linux(Ubuntu x64、arm64、s390x)、Android(arm64)、Windows(CPU、OpenCL、Vulkan、ROCm、SYCL、HIP)和 openEuler 的二进制文件。
  • CUDA 支持通过 Windows x64 的 CUDA 12.4 和 CUDA 13.3 DLL 提供。
  • 此版本中明确禁用了带有 KleidiAI 的 macOS Apple Silicon 构建。
  • openEuler 支持包括 x86 和 aarch64 变体,其中 910b 变体启用了 ACL Graph。

此更新允许使用较旧 NVIDIA GPU 架构的用户利用 CUDA 图以获得潜在的性能提升。