Sebuah proyek baru bernama vLLM Launcher telah dirilis sebagai aplikasi desktop Windows yang dirancang untuk mengelola inferensi model bahasa besar lokal melalui WSL2. Alat ini memungkinkan pengguna mengendalikan beberapa backend mesin, termasuk vLLM, SGLang, dan llama.cpp, dari satu antarmuka grafis.
- Manajemen multi-mesin untuk vLLM, SGLang, dan llama.cpp melalui satu UI desktop.
- Gerbang API lokal yang menawarkan titik akhir kompatibel dengan OpenAI dan Anthropic.
- Kartu instans untuk memulai, menghentikan, memulai ulang, dan memeriksa alur kerja model.
- Fitur termasuk log permintaan, pemeriksaan kesehatan, metrik runtime, dan penemuan model disk.
- Mode mengambang untuk pemantauan status yang ringkas saat menggunakan aplikasi lain.
Alat ini menjembatani mesin WSL ke IDE apa pun yang kompatibel dengan OpenAI, dengan tumpukan teknologi dasar yang dibangun di atas Go, Wails, React, TypeScript, dan Node.js. Rilis publik pertama tersedia sebagai eksekutabel portabel untuk Windows.