يقدم طلب سحب قدمه z-sachين دعم التكميم Q8_0 إلى الخلفية ggml-zendnn داخل llama.cpp، مما يتيح الاستدلال المحسّن على معالجات AMD EPYC. تتضمن الإضافة نتائج مقارنة المعايير التي تقارن التنفيذ الجديد لـ ZenDNN بأداء CPU القياسي GGML عبر عدة نماذج لغوية كبيرة.
- أظهر Llama-3.1-8B-Instruct مكاسب تتراوح بين 54.75% و93.49% لأحجام المطالبات بين 256 و2048 رمزًا.
- أظهر Mixtral-8x7B تحسينات كبيرة، مع وصول المكاسب إلى ما يصل إلى 213.38% عند حجم مطالبة يبلغ 2048 رمزًا.
- حققت gemma4 31B زيادات في الإنتاجية تتراوح بين 68.05% و114.58% للمطالبات الأكبر حجمًا.
- أظهرت gemma-4-26B-A4B-it مكاسب أكثر تواضعًا، تتراوح بين 4.72% و19.02%.
- ظلت أداء فك التشفير (tg128) قابلة للمقارنة مع ggml-cpu القياسي عبر جميع النماذج المختبرة.
توفر التغييرات تسريعات كبيرة لمعالجة المطالبات على الأجهزة من AMD مع الحفاظ على تكافؤ فك التشفير مع تنفيذ CPU الأساسي.