z-sachin menambahkan dukungan kuantisasi Q8_0 ke ggml-zendnn untuk CPU AMD

Sebuah pull request yang diajukan oleh z-sachin memperkenalkan dukungan kuantisasi Q8_0 ke backend ggml-zendnn di dalam llama.cpp, memungkinkan inferensi yang dioptimalkan pada prosesor AMD EPYC. Pengiriman tersebut mencakup hasil benchmark yang membandingkan implementasi ZenDNN baru dengan kinerja CPU GGML standar di beberapa model bahasa besar.

• Llama-3.1-8B-Instruct menunjukkan peningkatan berkisar dari 54,75% hingga 93,49% untuk ukuran prompt antara 256 dan 2048 token.
• Mixtral-8x7B menunjukkan perbaikan signifikan, dengan peningkatan mencapai hingga 213,38% pada ukuran prompt 2048 token.
• gemma4 31B mencapai peningkatan throughput antara 68,05% dan 114,58% untuk prompt yang lebih besar.
• gemma-4-26B-A4B-it menunjukkan peningkatan yang lebih moderat, berkisar dari 4,72% hingga 19,02%.
• Kinerja decoding (tg128) tetap sebanding dengan ggml-cpu standar di semua model yang diuji.

Perubahan tersebut memberikan percepatan substansial untuk pemrosesan prompt pada perangkat keras AMD sambil mempertahankan kesetaraan decoding dengan implementasi CPU baseline.