z-sachinによって提出されたプルリクエストは、llama.cpp内のggml-zendnnバックエンドにQ8_0量子化サポートを導入し、AMD EPYCプロセッサでの最適化された推論を可能にします。この提出には、複数の大規模言語モデルにおいて、新しいZenDNN実装と標準的なGGML CPUパフォーマンスを比較したベンチマーク結果が含まれています。

  • Llama-3.1-8B-Instructは、256から2048トークンのプロンプトサイズで、54.75%から93.49%の向上を示しました。
  • Mixtral-8x7Bは顕著な改善を示し、2048トークンのプロンプトサイズで最大213.38%の向上に達しました。
  • gemma4 31Bは、より大きなプロンプトに対して68.05%から114.58%のスループット増加を達成しました。
  • gemma-4-26B-A4B-itはより控えめな向上を示し、4.72%から19.02%の範囲でした。
  • デコーディングパフォーマンス（tg128）は、テストされたすべてのモデルで標準的なggml-cpuと同等でした。

この変更により、AMDハードウェアでのプロンプト処理が大幅に高速化されながら、ベースラインCPU実装とのデコーディング性能の同等性が維持されています。