llama.cpp 项目发布了构建版本 b10509,引入了对 `ggml_rope_set_offset` 函数在多个硬件后端的支持。此更新包括该新操作的 CPU、Metal、CUDA 和 Vulkan 实现。
- 添加了 `ggml_rope_set_offset` 参数和 CPU 内核实现。
- 实现了针对新 rope 偏移功能性的 Metal 内核支持。
- 启用了 `ggml_rope_set_offset` 的 CUDA 支持,同时移除了 `supports_op` 守卫。
- 为 Linux 和 Windows 上的 `ggml_rope_set_offset` 添加了 Vulkan 后端支持。
- 从相关操作中移除了就地优化。
该版本提供了适用于 macOS、iOS、Linux、Android、Windows 和 openEuler 的预编译二进制文件,涵盖多种架构,包括 CPU、GPU 以及 OpenVINO 和 SYCL 等专用加速器。