llama.cpp 项目发布了构建版本 b11001,其中包含对 `permute_transpose_impl` 函数处理 RISC-V 架构上 int16 数据的关键修复。
- 之前的版本错误地调用了 `rvv_transposed_s32_mn_to_nm` 来处理 16 位整数,导致转置结果损坏,在 4x4 矩阵中有 14 个位置出错。
- 该修复将错误的调用替换为正确的 `rvv_transposed_s16_mn_to_nm` 函数,该函数已在 flash attention 的其他地方可用并使用。
- 提供了适用于 macOS(Apple Silicon 和 Intel)、iOS、Linux(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Windows(CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0)、Android 和 openEuler 的二进制文件。
此更新确保 RISC-V 硬件上 int16 操作的数据转置正确,防止受影响模型中的计算错误。