يُصلح التصحيح المضاف إلى الخلفية CUDA الخاصة بـ llama.cpp من الانهيار في التنبؤ متعدد الرموز (MTP) على بطاقات الرسومات قبل Ampere من خلال إضافة فحوصات قدرة قوية. يضمن التحديث استخدام BF16 فقط عند دعمه، مع العودة إلى FP16 أو FP32 للبنى القديمة مثل Kepler.
- يُصلح انهيارات cuBLAS الناتجة عن اختيار حساب BF16 غير الصحيح على الأجهزة غير المدعومة.
- يطبق سلسلة تراجع: BF16 إذا كان مدعوماً، FP16 إذا كان سريعاً، وإلا FP32.
- تم الاختبار باستخدام Qwen3.6 35B A3B q4xl على أربع بطاقات Tesla K40c (Kepler).
- وصلت الأداء مع تفعيل MTP إلى حوالي 25 tok/s مقارنة بـ 22 tok/s في الوضع الافتراضي وحوالي 17.5 tok/s مع تعطيل MTP.
يتيح هذا التغيير لفك تشفير MTP أن يعمل بشكل صحيح على البطاقات الأقدم دون التأثير على بطاقات الرسومات الأحدث.