Пользователь протестировал AMD EPYC 9374f против 9135 для локального инференса LLM с использованием ik_llama.cpp и Unsloth, обнаружив, что новый чип обеспечивает значительное улучшение скорости декодирования при правильной конфигурации.
- 9374f достиг более высоких скоростей генерации токенов (например, 12.19 t/s против 8.68 t/s при N_KV=0) по сравнению с 9135 при использовании 48 потоков.
- Использование 32 или 64 потоков привело к худшей производительности, чем у 9135, что указывает на критическую важность количества потоков для этой рабочей нагрузки.
- 9374f показал чуть более медленные скорости префилла (например, 256.90 t/s против 257.33 t/s), но превосходную пропускную способность во время генерации.
Автор отмечает, что, хотя 9374f лучше подходит для декодирования, он значительно хуже для игр, что предполагает: обновление может не стоить того для систем смешанного использования.