由 z-sachin 提交的拉取请求在 llama.cpp 内的 ggml-zendnn 后端中引入了 Q8_0 量化支持，从而在 AMD EPYC 处理器上实现优化推理。该提交包含基准测试结果，将新的 ZenDNN 实现与多个大型语言模型的标准 GGML CPU 性能进行了比较。

  • Llama-3.1-8B-Instruct 在提示词大小为 256 到 2048 个 token 时，显示出 54.75% 到 93.49% 的提升。
  • Mixtral-8x7B 展示了显著的改进，在 2048 个 token 的提示词大小下，提升幅度高达 213.38%。
  • gemma4 31B 对于较大的提示词，吞吐量增加了 68.05% 到 114.58%。
  • gemma-4-26B-A4B-it 表现出更 modest 的提升，范围为 4.72% 到 19.02%。
  • 解码性能 (tg128) 在所有测试模型中与标准 ggml-cpu 保持相当。

这些更改在 AMD 硬件上为提示词处理提供了显著的加速，同时保持了与基线 CPU 实现的解码对等性。