Запрос на слияние, поданный z-sachin, добавляет поддержку квантования Q8_0 в бэкенд ggml-zendnn внутри llama.cpp, что обеспечивает оптимизированное выполнение выводов на процессорах AMD EPYC. В提交 включает результаты бенчмарков, сравнивающие новую реализацию ZenDNN со стандартной производительностью GGML CPU для нескольких больших языковых моделей.

  • Llama-3.1-8B-Instruct показал прирост от 54,75% до 93,49% для размеров промптов от 256 до 2048 токенов.
  • Mixtral-8x7B продемонстрировал значительные улучшения, с приростом до 213,38% при размере промпта в 2048 токенов.
  • gemma4 31B достиг увеличения пропускной способности от 68,05% до 114,58% для больших промптов.
  • gemma-4-26B-A4B-it показал более скромные улучшения, в диапазоне от 4,72% до 19,02%.
  • Производительность декодирования (tg128) осталась сопоставимой со стандартным ggml-cpu для всех протестированных моделей.

Изменения обеспечивают существенное ускорение обработки промптов на оборудовании AMD при сохранении паритета декодирования с базовой реализацией CPU.