vLLM Launcher 为本地 LLM 推理提供 Windows 桌面工作台

一个名为 vLLM Launcher 的新项目已发布，它是一个专为通过 WSL2 管理本地大型语言模型推理而设计的 Windows 桌面应用程序。该工具允许用户从单一图形界面控制多个引擎后端，包括 vLLM、SGLang 和 llama.cpp。

• 通过一个桌面 UI 管理 vLLM、SGLang 和 llama.cpp 多引擎。
• 提供兼容 OpenAI 和 Anthropic 端点的本地 API 网关。
• 实例卡片用于启动、停止、重启和检查模型工作流。
• 功能包括请求日志、健康检查、运行时指标和磁盘模型发现。
• 浮动模式可在使用其他应用程序时紧凑地监控状态。

该工具将 WSL 引擎桥接到任何兼容 OpenAI 的 IDE，底层技术栈基于 Go、Wails、React、TypeScript 和 Node.js。首个公开版本作为便携式 Windows 可执行文件提供。