llama.cpp 项目发布了版本 b9965,其中包含通过 hexagon 后端对小张量上的 ARGSORT 操作进行的显著优化。此更新引入了使用 HVX 寄存器的高效双调排序实现,能够处理多达 1024 个元素。

  • 在 HVX 寄存器中添加了针对最多 1024 个元素的高效双调排序。
  • 修复了 hex-sort 模块中的反转 VROR。
  • 为常见情况添加了专用排序函数以及追踪/本地上下文。
  • macOS Apple Silicon (arm64) 使用 KleidiAI 的构建现已禁用。

此版本为 macOS、Linux、Android、Windows 和 openEuler 提供了更新的二进制文件,涵盖包括 CUDA、Vulkan、ROCm 和 OpenVINO 在内的各种 CPU 和 GPU 后端。