llama.cpp b10034 版本解决了一个关键问题:Adreno A7x 设备的编译器错误编译了 repack 内核,导致 Mixture of Experts (MoE) 模型的权重损坏和输出乱码。为解决此问题,更新排除了 Adreno A7x 设备使用这些特定的 MoE 内核。
- 由于编译器错误编译问题,排除 Adreno A7x 使用 Adreno MoE 内核。
- 还排除 A6x 和未知的 Adreno GPU 进行 MoE 权重 repack,以确保稳定性。
- 禁用 macOS Apple Silicon 构建的 KleidiAI 支持。
- 提供 macOS (Apple Silicon 和 Intel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP) 和 openEuler 的二进制文件。
此更改防止了受影响的 Adreno 硬件上的模型输出损坏,确保使用这些 GPU 的用户能够可靠地进行推理。