एक उपयोगकर्ता चार RTX 5060 Ti GPUs के सेटअप पर vLLM का उपयोग करके नए unsloth/Qwen3.6-27B-NVFP4 मॉडल का बेंचमार्क करता है, ताकि विभिन्न कनकरेंसी स्तरों पर प्रीफिल प्रदर्शन और टाइम टू फर्स्ट टोकन (TTFT) का मूल्यांकन किया जा सके।
- परीक्षण वातावरण में 4 का पाइपलाइन पैरेलेलिज्म, प्रति कार्ड 64GB VRAM, और अधिकतम बैच टोकन 16K का उपयोग होता है।
- 1 कनकरेंसी पर, माध्य TTFT 3291.57 ms है और कुल टोकन थ्रूपुट 211.95 tok/s है।
- कनकरेंसी को बढ़ाकर 4 करने से माध्य TTFT बढ़कर 3864.81 ms हो जाता है और कुल टोकन थ्रूपुट 647.57 tok/s हो जाता है।
- 8 कनकरेंसी पर, माध्य TTFT बढ़कर 5279.76 ms हो जाता है जबकि कुल टोकन थ्रूपुट 1023.60 tok/s तक पहुँच जाता है।
- 12 कनकरेंसी के साथ, माध्य TTFT बढ़कर 14441.53 ms हो जाता है और कुल टोकन थ्रूपुट 1047.73 tok/s है।
- 16 कनकरेंसी पर, माध्य TTFT तेजी से बढ़कर 37817.92 ms हो जाता है और कुल टोकन थ्रूपुट 1061.13 tok/s होता है।
यह बेंचमार्क दिखाता है कि इस विशिष्ट हार्डवेयर कॉन्फ़िगरेशन पर कनकरेंसी बढ़ने के साथ प्रीफिल लेटेंसी और एंड-टू-एंड लेटेंसी कैसे महत्वपूर्ण रूप से स्केल होती हैं।