एक उपयोगकर्ता ने ik_llama.cpp और Unsloth का उपयोग करके स्थानीय LLM इनफरेंस के लिए AMD EPYC 9374f की तुलना 9135 से बेंचमार्क की, और पाया कि सही कॉन्फ़िगरेशन पर नया चिप महत्वपूर्ण डिकोडिंग गति सुधार प्रदान करता है।
- 48 थ्रेड्स का उपयोग करते समय 9374f ने 9135 की तुलना में उच्च टोकन जनरेशन गति हासिल की (उदाहरण के लिए, N_KV=0 पर 12.19 t/s बनाम 8.68 t/s)।
- 32 या 64 थ्रेड्स का उपयोग करने से 9135 की तुलना में खराब प्रदर्शन मिला, जो संकेत देता है कि इस वर्कलोड के लिए थ्रेड गिनती महत्वपूर्ण है।
- 9374f ने थोड़ी धीमी प्रिफिल गति (उदाहरण के लिए, 256.90 t/s बनाम 257.33 t/s) दिखाई लेकिन जनरेशन के दौरान श्रेष्ठ थ्रूपुट दिखाया।
लेखक नोट करते हैं कि हालांकि 9374f डिकोडिंग के लिए बेहतर है, यह गेमिंग के लिए काफी खराब है, जिससे संकेत मिलता है कि मिश्रित-उपयोग प्रणालियों के लिए अपग्रेड कीमत नहीं दे सकता।