دمج llama.cpp لمقياس ما بعد MMVQ لـ NVFP4 على CUDA

يقدم طلب سحب إلى llama.cpp عمليات مقياس ما بعد MMVQ (Multi-Mode Vector Quantization) المدمجة لتكميم NVFP4 على CUDA، مستهدفةً بشكل خاص حجم دفعة 1.

تشمل التنفيذ دمج MMVQ الكثيف وتقييد دمج المقياس لـ NVFP4 لمنع تدهور الأداء في التكوينات الثقيلة بـ GEMV. أظهرت الاختبارات المعيارية على عتاد B4500 وDGX Spark وB6000 تسريعات لنموذج qwen35moe 35B.A3B NVFP4 تتراوح من 1.02x إلى 1.08x مقارنةً بالفرع الرئيسي.

تشمل التغييرات أيضًا إعادة هيكلة منطق الدمج على جانب المضيف، ودمج مساعدي دمج mm ذو المسار الواحد، وإعادة ترتيب إضافات الانحياز/المقياس للامتثال لطلبات السحب ذات الصلة.