z-sachin द्वारा जमा किया गया एक पुल रिक्वेस्ट llama.cpp के भीतर ggml-zendnn बैकएंड में Q8_0 क्वांटीज़ेशन समर्थन पेश करता है, जिससे AMD EPYC प्रोसेसरों पर अनुकूलित इनफरेंस सक्षम होता है। सबमिशन में कई बड़े भाषा मॉडलों के सामान्य GGML CPU प्रदर्शन के सापेक्ष नई ZenDNN कार्यान्वयन की तुलना करते हुए बेंचमार्क परिणाम शामिल हैं।
- Llama-3.1-8B-Instruct ने 256 से 2048 टोकन के बीच प्रॉम्प्ट आकारों के लिए 54.75% से 93.49% तक लाभ दिखाए।
- Mixtral-8x7B ने महत्वपूर्ण सुधार दिखाए, जहाँ 2048-टोकन प्रॉम्प्ट आकार पर लाभ 213.38% तक पहुँच गया।
- gemma4 31B ने बड़े प्रॉम्प्ट्स के लिए थ्रूपुट में 68.05% से 114.58% की वृद्धि हासिल की।
- gemma-4-26B-A4B-it ने अधिक विनम्र लाभ दिखाए, जो 4.72% से 19.02% के बीच थे।
- डिकोडिंग प्रदर्शन (tg128) सभी परीक्षण किए गए मॉडलों में मानक ggml-cpu के साथ तुलनीय रहा।
परिवर्तनों ने AMD हार्डवेयर पर प्रॉम्प्ट प्रसंस्करण के लिए महत्वपूर्ण गति वृद्धि प्रदान की है जबकि बेलाइन CPU कार्यान्वयन के साथ डिकोडिंग समानता बनाए रखी है।