Um pull request submetido por z-sachin introduz suporte de quantização Q8_0 no backend ggml-zendnn dentro do llama.cpp, permitindo inferência otimizada em processadores AMD EPYC. A submissão inclui resultados de benchmarks comparando a nova implementação do ZenDNN contra o desempenho padrão do GGML CPU através de vários modelos de linguagem grandes.
- Llama-3.1-8B-Instruct mostrou ganhos variando de 54,75% a 93,49% para tamanhos de prompt entre 256 e 2048 tokens.
- Mixtral-8x7B demonstrou melhorias significativas, com ganhos atingindo até 213,38% em um tamanho de prompt de 2048 tokens.
- gemma4 31B alcançou aumentos de throughput entre 68,05% e 114,58% para prompts maiores.
- gemma-4-26B-A4B-it exibiu ganhos mais modestos, variando de 4,72% a 19,02%.
- O desempenho de decodificação (tg128) permaneceu comparável ao ggml-cpu padrão em todos os modelos testados.
As alterações proporcionam aceleradas substanciais para o processamento de prompts no hardware AMD enquanto mantêm a paridade de decodificação com a implementação base da CPU.