llama.cpp 项目发布了 b9946 版本,引入了针对 Qualcomm Hexagon 处理器的重大优化,并为多个平台提供了新的构建产物。
- Hexagon 一元运算现在对宽行进行分块以避免 VTCM 溢出,并用 fastdiv 替换除法。
- 更新包括跟踪仪器和简化的 HVX 内核,以改进代码生成。
- macOS Apple Silicon 二进制文件可用,但 KleidiAI 支持仍处于禁用状态。
- 新的 Linux 构建涵盖 CPU、Vulkan、ROCm 7.2、OpenVINO 和 SYCL 目标。
- Windows 版本现在在现有的 CUDA 12、OpenCL 和 HIP 选项旁增加了 CUDA 13 支持。
此版本为桌面和移动环境提供了更新的二进制文件,同时增强了基于 Hexagon 的硬件的性能。