تشغيل نموذج DeepSeek V4 Flash المُكمَّم بـ UD-Q2_K_XL على RTX 4090 باستخدام llama.cpp

أبلغ مستخدم عن تشغيل نموذج DeepSeek V4 Flash المُكمَّم بطريقة UD-Q2_K_XL من unsloth على بطاقة RTX 4090 مزودة بذاكرة RAM DDR5 سعتها 128 جيجابايت عبر llama.cpp. حققت هذه التكوين سرعة توليد تبلغ 10.9 توكن/ثانية، وهو ما يعتبره المؤلف معقولاً للمهام الوكيلية (agentic tasks) على الرغم من كونه أبطأ من Qwen 3.6-27B.

• أدى تثبيت النوى الفيزيائية على معالج Intel Core Ultra 7 270k إلى مضاعفة سرعة الاستدلال من 6.8 إلى 11 توكن/ثانية.
• كان تعطيل الانتباه السريع (flash attention) (`-fa off`) وضبط كَمَّة السياق ضروريين لمنع تجاوز سعة ذاكرة التخزين المؤقت لـ CUDA.
• كانت متغير الكَمَّة IQ4_NL بطيئاً جداً (8.1 توكن/ثانية) ومقيداً بنافذة سياق تبلغ 10 آلاف.

يشير المؤلف إلى أنه مع المزيد من التحسينات، قد يحل هذا التكوين محل Qwen 3.6-27B للمستخدمين الذين يمتلكون بطاقات GPU سعتها 24 جيجابايت.