vLLM Launcher नामक एक नया परियोजना WSL2 के माध्यम से स्थानीय बड़े भाषा मॉडल इनफरेंस को प्रबंधित करने के लिए डिज़ाइन किए गए विंडोज डेस्कटॉप एप्लिकेशन के रूप में जारी किया गया है। यह टूल उपयोगकर्ताओं को एकल ग्राफिकल इंटरफ़ेस से vLLM, SGLang और llama.cpp सहित कई इंजन बैकएंड्स को नियंत्रित करने की अनुमति देता है।
- एक डेस्कटॉप UI के माध्यम से vLLM, SGLang और llama.cpp के लिए मल्टी-इंजन प्रबंधन।
- OpenAI-संगत और Anthropic-संगत एंडपॉइंट्स प्रदान करने वाला स्थानीय API गेटवे।
- मॉडल वर्कफ़्लो को शुरू करने, रोकने, पुनः आरंभ करने और निरीक्षण करने के लिए इंस्टेंस कार्ड।
- विशेषताओं में अनुरोध लॉग, स्वास्थ्य जांच, रनटाइम मेट्रिक्स और डिस्क मॉडल खोज शामिल हैं।
- अन्य एप्लिकेशन का उपयोग करते समय संपाक्त स्थिति निगरानी के लिए फ्लोटिंग मोड।
यह टूल WSL इंजनों को किसी भी OpenAI-संगत IDE से जोड़ता है, जिसका अंतर्निहित तकनीकी स्टैक Go, Wails, React, TypeScript और Node.js पर बनाया गया है। पहला सार्वजनिक रिलीज़ विंडोज के लिए पोर्टेबल एक्सेकुटेबल के रूप में उपलब्ध है।