يسأل مستخدم على رديت يمتلك خادمًا مجهزًا ببطاقتي RTX 5060 سعة 16 جيجابايت وذاكرة ECC DDR4 سعة 80 جيجابايت عن نصائح التكوين لتحسين الأداء عند تقسيم أوزان النموذج عبر البطاقات.
- يستخدم الإعداد PCIe 3.0، والذي يلاحظ المستخدم أنه قد يعيق كفاءة التوازي الزائدي (tensor parallelism).
- تُظهر المقاييس الحالية حوالي 3200 رمز في الثانية لمعالجة الطلب و100 رمز في الثانية للتوليد مع نموذج Qwen 3.6 35B.
- يحقق النموذج الأصغر Qwen 27B حوالي 600 رمز في الثانية لمعالجة الطلب و23 رمز في الثانية للتوليد في تكوين تقسيم زائدي.
- يستخدم المستخدم حاليًا تنسيقات GGUF مع llama.cpp ولكنه يمتلك أيضًا إمكانية الوصول إلى نماذج vLLM NVFP4.
يهدف المنشور إلى جمع توصيات المجتمع حول الإعدادات لتحسين معدل الإرسال وزمن الاستجابة عند تشغيل نماذج لغوية كبيرة عبر عتاد GPU مزدوج.