قام مستخدم بتقييم الأداء لنموذج unsloth/Qwen3.6-27B-NVFP4 الجديد باستخدام vLLM على جهاز يتكون من أربع وحدات RTX 5060 Ti لتقييم أداء مرحلة الحشو (prefill) وزمن الوصول إلى الرمز الأول (TTFT) عبر مستويات مختلفة من التزامن.
- تستخدم بيئة الاختبار توازي الأنابيب (pipeline parallelism) بقيمة 4، وذاكرة فيديو بحجم 64GB لكل بطاقة، وأقصى عدد لرموز الدفعة يبلغ 16K.
- عند مستوى تزامن واحد، كان متوسط زمن الوصول إلى الرمز الأول 3291.57 مللي ثانية مع إجمالي معدل إنتاج الرموز البالغ 211.95 tok/s.
- أدى زيادة التزامن إلى 4 إلى رفع متوسط زمن الوصول إلى الرمز الأول إلى 3864.81 مللي ثانية وزيادة إجمالي معدل إنتاج الرموز إلى 647.57 tok/s.
- عند تزامن 8، ارتفع متوسط زمن الوصول إلى الرمز الأول إلى 5279.76 مللي ثانية بينما وصل إجمالي معدل إنتاج الرموز إلى 1023.60 tok/s.
- مع تزامن 12، قفز متوسط زمن الوصول إلى الرمز الأول إلى 14441.53 مللي ثانية وكان إجمالي معدل إنتاج الرموز 1047.73 tok/s.
- عند تزامن 16، ارتفع متوسط زمن الوصول إلى الرمز الأول بشكل حاد إلى 37817.92 مللي ثانية مع إجمالي معدل إنتاج رموز يبلغ 1061.13 tok/s.
يوضح التقييم كيف تتوسع تأخرية الحشو والتأخرية الشاملة بشكل كبير مع زيادة مستوى التزامن على تكوين الأجهزة المحدد هذا.