Una solicitud de extracción presentada por z-sachin introduce soporte de cuantización Q8_0 en el backend ggml-zendnn dentro de llama.cpp, habilitando inferencia optimizada en procesadores AMD EPYC. La presentación incluye resultados de benchmarks comparando la nueva implementación de ZenDNN contra el rendimiento estándar de GGML CPU a través de varios modelos de lenguaje grandes.

  • Llama-3.1-8B-Instruct mostró ganancias que oscilan entre 54,75% y 93,49% para tamaños de prompt entre 256 y 2048 tokens.
  • Mixtral-8x7B demostró mejoras significativas, con ganancias que alcanzan hasta 213,38% en un tamaño de prompt de 2048 tokens.
  • gemma4 31B logró aumentos de rendimiento entre 68,05% y 114,58% para prompts más grandes.
  • gemma-4-26B-A4B-it exhibió ganancias más modestas, que oscilan entre 4,72% y 19,02%.
  • El rendimiento de decodificación (tg128) se mantuvo comparable al ggml-cpu estándar en todos los modelos probados.

Los cambios proporcionan aceleraciones sustanciales para el procesamiento de prompts en hardware AMD mientras mantienen la paridad de decodificación con la implementación base de CPU.