Seorang pengguna membandingkan AMD EPYC 9374f dengan 9135 untuk inferensi LLM lokal menggunakan ik_llama.cpp dan Unsloth, menemukan bahwa chip terbaru menawarkan peningkatan kecepatan decoding yang signifikan ketika dikonfigurasi dengan benar.
- 9374f mencapai kecepatan generasi token yang lebih tinggi (misalnya, 12.19 t/s vs 8.68 t/s pada N_KV=0) dibandingkan dengan 9135 saat menggunakan 48 utas.
- Menggunakan 32 atau 64 utas menghasilkan kinerja yang lebih buruk daripada 9135, menunjukkan bahwa jumlah utas sangat penting untuk beban kerja ini.
- 9374f menunjukkan kecepatan praisi yang sedikit lebih lambat (misalnya, 256.90 t/s vs 257.33 t/s) tetapi throughput yang unggul selama generasi.
Penulis mencatat bahwa meskipun 9374f lebih baik untuk decoding, chip tersebut jauh lebih buruk untuk gaming, menunjukkan bahwa peningkatan ini mungkin tidak sepadan untuk sistem dengan penggunaan campuran.