llama.cpp 项目发布了 b9969 版本,解决了 Vulkan 后端中的一个关键稳定性问题。该更新将大型矩阵乘法路由到 Adreno GPU 上的中等图块,解决了由于共享内存不足而在 q4_0 量化网络和较长提示长度下发生的崩溃。
- 通过优化 Vulkan matmul 中的共享内存使用,修复了 llama-cli 在长提示下的中断问题。
- 移除了未使用的 Adreno 设备代码并更新了小型流水线 matmul 实现。
- 禁用了 macOS Apple Silicon 构建的 KleidiAI 支持。
- 提供了 Ubuntu(CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL)、Windows(CPU、CUDA 12/13、Vulkan、HIP、SYCL)、macOS、iOS、Android 和 openEuler 的二进制文件。
此版本确保在具有更大上下文窗口的 Adreno 设备上稳定推理,并在广泛的硬件后端之间保持兼容性。