Une demande de tirage soumise par z-sachin introduit le support de la quantification Q8_0 dans le backend ggml-zendnn au sein de llama.cpp, permettant une inférence optimisée sur les processeurs AMD EPYC. La soumission inclut des résultats de benchmark comparant la nouvelle implémentation ZenDNN aux performances CPU GGML standard sur plusieurs grands modèles de langage.
- Llama-3.1-8B-Instruct a montré des gains allant de 54,75 % à 93,49 % pour des tailles de prompt comprises entre 256 et 2048 tokens.
- Mixtral-8x7B a démontré des améliorations significatives, avec des gains atteignant jusqu'à 213,38 % pour une taille de prompt de 2048 tokens.
- gemma4 31B a atteint des augmentations de débit comprises entre 68,05 % et 114,58 % pour des prompts plus grands.
- gemma-4-26B-A4B-it a présenté des gains plus modestes, allant de 4,72 % à 19,02 %.
- Les performances de décodage (tg128) sont restées comparables à ggml-cpu standard pour tous les modèles testés.
Les modifications apportent des accélérations substantielles pour le traitement des prompts sur le matériel AMD tout en maintenant une parité de décodage avec l'implémentation CPU de référence.