llama.cpp 版本 b9690 引入了一个 rope_back 算子,该算子通过重用现有的 rope 内核并使用函数常量来切换前向/后向旋转来实现。此次发布包含了适用于 macOS、Linux、Android、Windows 和 openEuler 的预构建二进制文件,支持多种架构和硬件加速选项,包括 Vulkan、CUDA、ROCm、OpenVINO 和 SYCL。
llama.cpp 发布 b9690,包含 rope_back 算子和跨平台二进制文件
译自 English → 中文