llama.cpp 项目发布了 b10035 版本,为 macOS、Linux、Windows、Android 和 openEuler 提供了适用于 CPU、GPU 和专业硬件后端的二进制文件。
- 主要技术变更是通过 CUDA 中的 __byte_perm 提取 Q1_0 元素(PR #25628)。
- macOS/iOS Apple Silicon 上的 KleidiAI 支持已禁用。
- OpenEuler 构建适用于 x86 和 aarch64 架构,包括对 910b 芯片的 ACL Graph 支持。
- Windows 二进制文件现在包含对 CUDA 13.3 的支持,与现有的 CUDA 12.4 并存,以及 HIP 和 SYCL。
此版本通过特定的硬件优化更新了代码库,并为各种操作系统和加速器类型提供了更新的二进制文件。