Um usuário fez benchmark do AMD EPYC 9374f contra o 9135 para inferência local de LLM usando ik_llama.cpp e Unsloth, descobrindo que o chip mais recente oferece melhorias significativas na velocidade de decodificação quando configurado corretamente.
- O 9374f alcançou velocidades de geração de tokens mais altas (por exemplo, 12.19 t/s vs 8.68 t/s em N_KV=0) em comparação ao 9135 ao usar 48 threads.
- Usar 32 ou 64 threads resultou em desempenho pior que o do 9135, indicando que a contagem de threads é crítica para esta carga de trabalho.
- O 9374f mostrou velocidades de prefill ligeiramente mais lentas (por exemplo, 256.90 t/s vs 257.33 t/s), mas throughput superior durante a geração.
O autor observa que, embora o 9374f seja melhor para decodificação, ele é significativamente pior para jogos, sugerindo que a atualização pode não valer a pena para sistemas de uso misto.