Un utilisateur a comparé les performances de l'AMD EPYC 9374f et du 9135 pour l'inférence locale de LLM en utilisant ik_llama.cpp et Unsloth, constatant que la nouvelle puce offre des améliorations significatives de la vitesse de décodage lorsqu'elle est correctement configurée.
- Le 9374f a atteint des vitesses de génération de tokens plus élevées (par exemple, 12,19 t/s contre 8,68 t/s à N_KV=0) par rapport au 9135 en utilisant 48 threads.
- L'utilisation de 32 ou 64 threads a entraîné des performances inférieures à celles du 9135, indiquant que le nombre de threads est critique pour cette charge de travail.
- Le 9374f a montré des vitesses de préremplissage légèrement plus lentes (par exemple, 256,90 t/s contre 257,33 t/s) mais un débit supérieur pendant la génération.
L'auteur note que bien que le 9374f soit meilleur pour le décodage, il est nettement inférieur pour les jeux, suggérant que la mise à niveau pourrait ne pas en valoir la peine pour les systèmes à usage mixte.