Un usuario comparó el AMD EPYC 9374f contra el 9135 para inferencia local de LLM usando ik_llama.cpp y Unsloth, encontrando que el chip más nuevo ofrece mejoras significativas en la velocidad de decodificación cuando se configura correctamente.
- El 9374f logró velocidades de generación de tokens más altas (por ejemplo, 12.19 t/s frente a 8.68 t/s en N_KV=0) en comparación con el 9135 al usar 48 hilos.
- Usar 32 o 64 hilos resultó en un rendimiento peor que el del 9135, lo que indica que el número de hilos es crítico para esta carga de trabajo.
- El 9374f mostró velocidades de prefill ligeramente más lentas (por ejemplo, 256.90 t/s frente a 257.33 t/s) pero un throughput superior durante la generación.
El autor señala que, aunque el 9374f es mejor para la decodificación, es significativamente peor para los juegos, lo que sugiere que la actualización puede no valer la pena para sistemas de uso mixto.