한 사용자가 ik_llama.cpp와 Unsloth를 사용하여 로컬 LLM 추론에 AMD EPYC 9374f와 9135의 벤치마크를 수행했으며, 새 칩이 올바르게 구성될 때 상당한 디코딩 속도 개선을 제공한다는 것을 발견했습니다.

  • 9374f는 48스레드를 사용할 때 9135보다 높은 토큰 생성 속도(예: N_KV=0에서 12.19 t/s 대 8.68 t/s)를 달성했습니다.
  • 32 또는 64스레드를 사용하면 9135보다 성능이 저하되어 스레드 수가 이 워크로드에 중요함을 나타냅니다.
  • 9374f는 약간 느린 프리필 속도(예: 256.90 t/s 대 257.33 t/s)를 보였지만 생성 중 처리량이 우수했습니다.

저자는 9374f가 디코딩에는 더 좋지만 게임에서는 훨씬 나쁘다고 지적하며, 혼합 사용 시스템에서는 업그레이드가 가치가 없을 수 있다고 제안합니다.