Se ha lanzado un nuevo proyecto llamado vLLM Launcher como una aplicación de escritorio para Windows diseñada para gestionar la inferencia de modelos de lenguaje grandes locales a través de WSL2. Esta herramienta permite a los usuarios controlar múltiples backends de motores, incluyendo vLLM, SGLang y llama.cpp, desde una única interfaz gráfica.
- Gestión multi-motor para vLLM, SGLang y llama.cpp a través de una interfaz de escritorio única.
- Puerta de enlace API local que ofrece puntos finales compatibles con OpenAI y Anthropic.
- Tarjetas de instancia para iniciar, detener, reiniciar e inspeccionar flujos de trabajo de modelos.
- Características incluyen registros de solicitudes, comprobaciones de salud, métricas de tiempo de ejecución y descubrimiento de modelos en disco.
- Modo flotante para un monitoreo compacto del estado mientras se usan otras aplicaciones.
La herramienta conecta los motores WSL con cualquier IDE compatible con OpenAI, con la pila tecnológica subyacente construida sobre Go, Wails, React, TypeScript y Node.js. El primer lanzamiento público está disponible como un ejecutable portátil para Windows.