vLLM प्रोजेक्ट ने अपने transformers मॉडलिंग बैकएंड को अपग्रेड किया है जो रनटाइम पर इनफरेंस-विशिष्ट लेयर फ्यूजन को गतिशील रूप से लागू करता है, जिससे संगत मॉडल्स बिना किसी कस्टम कोड के नेटिव vLLM इनफरेंस स्पीड प्राप्त कर सकते हैं। यह अपडेट torch.fx का उपयोग करके स्टैटिक विश्लेषण और AST मैनिपुलेशन के माध्यम से पैटर्न की पहचान और अनुकूलन करता है, जैसे कि Mixture-of-Experts मॉडल्स में एक्सपर्ट पैरेलेलाइजेशन के लिए फ्यूज्ड ऑपरेशन्स।
- Qwen3 मॉडल्स (4B, 32B, और 235B-पैरामीटर FP8 MoE) पर किए गए बेंचमार्क दिखाते हैं कि अपडेटेड बैकएंड सिंगल GPU, टेंसर पैरेलेलिज्म, और डेटा/एक्सपर्ट पैरेलेलिज्म सेटअप्स में vLLM के हैंड-राइटन नेटिव इम्प्लीमेंटेशन के समान प्रदर्शन प्रदान करता है।
- इंटीग्रेशन सर्विंग सेटअप कॉन्फ़िगरेशन को बदले बिना --tensor-parallel-size और --data-parallel-size जैसे स्टैंडर्ड पैरेलेलिज्म विकल्पों का समर्थन करता है।
- अनुकूलित ऑपरेशन्स में एक्सपर्ट पैरेलेलाइजेशन के लिए vLLM कर्नेल्स को मैपिंग और फ्यूज्ड MergedColumnParallelLinear/QKVParallelLinear ब्लॉक्स शामिल हैं जो टेंसर और पाइपलाइन पैरेलेल प्लान्स का स्वचालित इनफरेंस सक्षम बनाते हैं।
- इस बैकएंड के माध्यम से प्रोसेस किए गए मॉडल्स torch.compile और CUDA Graphs के माध्यम से पूरी तरह से torch कंपाइलेबल रहते हैं, जबकि ट्रेनिंग, इवल्यूएशन और RL रोलआउट्स के लिए उपयोग करने की क्षमता भी बनाए रखते हैं।
यह सुधार मॉडल लेखकों को कोड पोर्ट किए बिना अनुकूलित प्रदर्शन के साथ vLLM के अंदर Hugging Face मॉडल्स चलाने की अनुमति देता है, जिससे उपयोग में आसानी और अधिकतम हार्डवेयर उपयोगिता के बीच की खाई पाटी जाती है।