Um pull request submetido por z-sachin introduz suporte de quantização Q8_0 no backend ggml-zendnn dentro do llama.cpp, permitindo inferência otimizada em processadores AMD EPYC. A submissão inclui resultados de benchmarks comparando a nova implementação do ZenDNN contra o desempenho padrão do GGML CPU através de vários modelos de linguagem grandes.

  • Llama-3.1-8B-Instruct mostrou ganhos variando de 54,75% a 93,49% para tamanhos de prompt entre 256 e 2048 tokens.
  • Mixtral-8x7B demonstrou melhorias significativas, com ganhos atingindo até 213,38% em um tamanho de prompt de 2048 tokens.
  • gemma4 31B alcançou aumentos de throughput entre 68,05% e 114,58% para prompts maiores.
  • gemma-4-26B-A4B-it exibiu ganhos mais modestos, variando de 4,72% a 19,02%.
  • O desempenho de decodificação (tg128) permaneceu comparável ao ggml-cpu padrão em todos os modelos testados.

As alterações proporcionam aceleradas substanciais para o processamento de prompts no hardware AMD enquanto mantêm a paridade de decodificação com a implementação base da CPU.