llama.cpp b9938 版本更新了 ggml-hip 后端,以启用 -funsafe-math-optimizations 编译器标志,使 AMD/HIP 构建能够使用此前仅适用于 CUDA 的快速数学优化。
此更改为 AMD 硬件提供了加速,且不会导致与更严格的 -ffast-math 标志相关的 NaN 问题或编译失败。该版本包含适用于 macOS(Apple Silicon 和 Intel)、Linux(CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL)、Android、Windows(CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)和 openEuler 的二进制文件。
该更新确保了 NVIDIA 和 AMD 后端在优化能力上的对等性,同时保持了掩码操作的数值稳定性。