llama.cpp 项目发布了 b9941 版本,该版本引入了一个更改:完全依赖编译时间来建立索引,并始终执行乘加操作。

这种方法避免了依赖编译器来优化局部内存,其成本低于发出控制流语句。此次发布提供了适用于 macOS(Apple Silicon 和 Intel)、iOS、Linux(CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows(CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)以及 openEuler 的二进制文件。

该更新确保了跨平台一致的索引行为,同时通过减少控制流开销来优化性能。