llama.cpp 项目发布了 b9885 版本,该版本通过启用分块矩阵乘法修复了 AIX 平台的关键问题。此更改减少了本地栈缓冲区占用,以防止 matmul_tiled 路径中因大缓冲区导致的段错误。

  • 在 AIX 上对 FP32、Q4_0 和 Q8_0 模型观察到 PP_Speed 性能提升约 2 倍。
  • 该版本提供了 macOS(Apple Silicon 和 Intel)、Linux(Ubuntu x64、arm64、s390x)、Windows(CPU、CUDA、Vulkan、ROCm 等)、Android 和 openEuler 的二进制文件。
  • 此构建中禁用了 KleidiAI 对 macOS Apple Silicon 的支持。

此次更新确保了 AIX 系统的稳定性,同时为支持的量化格式提供了显著的推理加速。