وجد مستخدم يقوم بمعايرة Qwen3.6-27B (INT8) على أربعة وحدات GPU من نوع RTX 5060 Ti أن SGLang يدير التزامن الأعلى بشكل أكثر فعالية من vLLM، الذي عانى سابقًا من مشاكل في الوقت حتى أول رمز (TTFT).
- حقق الإعداد زمن استجابة نهائي متوسط قدره 13679.23 مللي ثانية وزمن TTFT متوسط قدره 7504.07 مللي ثانية عند 8 طلبات متزامنة.
- وصل معدل تدفق الرموز المخرجة إلى 127.63 رمز/ثانية، مع ذروة معدل تدفق مخرجات قدرها 76.00 رمز/ثانية.
- تطلبت التكوين تعطيل الميزات متعددة الوسائط، واستخدام فك التشفير التخميني (NEXTN)، وتطبيق تصحيح لمحرك PCIe P2P عبر تمرير VM Proxmox.
يوفر هذا التكوين مرجعًا يعمل للمستخدمين الذين يخططون لنشر النماذج الكبيرة على عتاد المستهلك مع عرض نطاق NVLink محدود.