llama.cpp 项目发布了 b10891 版本,解决了 PowerVR GPU 上的一个关键稳定性问题。该更新修改了 Vulkan 后端,使其在去量化矩阵-向量乘法(dmmv)操作中回退到共享内存归约。

  • 此更改解决了由 Imagination 专有 Vulkan 编译器在构建仅使用子组归约的计算管线时返回 VK_ERROR_UNKNOWN 而导致的崩溃。
  • 此修复适用于 k-quants、i-quants、TQ2_0、MXFP4 和 NVFP4 量化格式,这些格式此前在 Pixel 11 Pro 等设备上失败。
  • 共享内存归约变体编译成功,并且与 q2_K 到 q6_K 量化的 CPU 参考结果一致。
  • 还提供了一种混合变体,但会带来显著的性能损失,将令牌吞吐量降低至标准速率的 27%。

此更新确保使用这些特定量化格式模型在 PowerVR 硬件上运行时,在初始令牌生成阶段不会崩溃。