एक उपयोगकर्ता ने चार RTX 5060 Ti GPU पर Qwen3.6 27B (INT8) का बेंचमार्किंग किया और पाया कि SGLang vLLM की तुलना में अधिक प्रभावी ढंग से उच्च प्रतिस्पर्धा को प्रबंधित करता है, जिसने पहले समय-टू-फर्स्ट-टोकन (TTFT) समस्याओं का सामना किया था।
- 8 समवर्ती अनुरोधों पर सेटअप ने 13679.23 ms की माध्य अंत-से-अंत विलंबता और 7504.07 ms की माध्य TTFT प्राप्त की।
- आउटपुट टोकन थ्रूपुट 127.63 tok/s तक पहुंच गया, जिसमें शीर्ष आउटपुट थ्रूपुट 76.00 tok/s था।
- कॉन्फ़िगरेशन को मल्टीमोडल सुविधाओं को अक्षम करने, स्पेकुलेटिव डिकोडिंग (NEXTN) का उपयोग करने और Proxmox VM पासथ्रू के माध्यम से PCIe P2P ड्राइवर पैच लागू करने की आवश्यकता थी।
यह कॉन्फ़िगरेशन सीमित NVLink बैंडविड्थ वाले उपभोक्ता-ग्रेड हार्डवेयर पर बड़े मॉडल तैनात करने की योजना बना रहे उपयोगकर्ताओं के लिए एक कार्यशील संदर्भ प्रदान करता है।