llama.cpp 项目发布了 b10040 构建,其中包含针对 HIP/ROCm 构建的修复程序,用于正确处理 `prop.integrated` 设备属性。此前,为了解决 Jetson Orin 设备上输出损坏的问题,该变通方法无条件地将此标志设置为 false,适用于所有 CUDA/HIP 设备,导致不一致性,破坏了 AMD APU/UMA 部件上集成 GPU 主机缓冲区的用法。

  • 修复程序对 Jetson 变通方法进行了保护,使其仅适用于非 HIP(CUDA)构建。
  • 对于 HIP 构建,代码现在从 `hipDeviceProp_t` 恢复 `prop.integrated`,允许 `supports_buft()` 正确接受 AMD 集成显卡上的 CUDA 主机缓冲区。
  • 这解决了关于 ROCm 上集成 GPU 支持损坏的问题 #23977。

该版本提供了适用于 macOS(Apple Silicon 和 Intel)、Linux(CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL)、Android、Windows(CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)和 openEuler 的二进制文件。