z-sachin이 제출한 풀 리퀘스트는 llama.cpp 내의 ggml-zendnn 백엔드에 Q8_0 양자화 지원을 도입하여 AMD EPYC 프로세서에서 최적화된 추론을 가능하게 합니다. 이 제출에는 여러 대규모 언어 모델에 걸쳐 새로운 ZenDNN 구현과 표준 GGML CPU 성능을 비교한 벤치마크 결과가 포함되어 있습니다.

  • Llama-3.1-8B-Instruct는 256부터 2048 토큰의 프롬프트 크기에서 54.75%에서 93.49%의 향상률을 보였습니다.
  • Mixtral-8x7B은 현저한 개선을 보여주었으며, 2048 토큰 프롬프트 크기에서 최대 213.38%의 향상률에 도달했습니다.
  • gemma4 31B는 더 큰 프롬프트에 대해 68.05%에서 114.58%의 처리량 증가를 달성했습니다.
  • gemma-4-26B-A4B-it은 더 절제된 향상률을 보였으며, 4.72%에서 19.02% 범위였습니다.
  • 디코딩 성능(tg128)은 테스트된 모든 모델에 걸쳐 표준 ggml-cpu와 비교 가능한 수준을 유지했습니다.

이 변경 사항들은 AMD 하드웨어에서 프롬프트 처리를 상당폭 가속화하면서도 기본 CPU 구현과의 디코딩 동등성을 유지합니다.