llama.cpp b10034 版本解决了一个关键问题:Adreno A7x 设备的编译器错误编译了 repack 内核,导致 Mixture of Experts (MoE) 模型的权重损坏和输出乱码。为解决此问题,更新排除了 Adreno A7x 设备使用这些特定的 MoE 内核。

  • 由于编译器错误编译问题,排除 Adreno A7x 使用 Adreno MoE 内核。
  • 还排除 A6x 和未知的 Adreno GPU 进行 MoE 权重 repack,以确保稳定性。
  • 禁用 macOS Apple Silicon 构建的 KleidiAI 支持。
  • 提供 macOS (Apple Silicon 和 Intel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP) 和 openEuler 的二进制文件。

此更改防止了受影响的 Adreno 硬件上的模型输出损坏,确保使用这些 GPU 的用户能够可靠地进行推理。