Новый проект vLLM Launcher выпущен как приложение для рабочего стола Windows, предназначенное для управления локальным выводом больших языковых моделей через WSL2. Этот инструмент позволяет пользователям управлять несколькими бэкендами движков, включая vLLM, SGLang и llama.cpp, из единого графического интерфейса.
- Многодвижковое управление vLLM, SGLang и llama.cpp через один настольный UI.
- Локальный API-шлюз с поддержкой конечных точек, совместимых с OpenAI и Anthropic.
- Карточки инстансов для запуска, остановки, перезапуска и мониторинга рабочих процессов моделей.
- Включает журналы запросов, проверки работоспособности, метрики времени выполнения и обнаружение моделей на диске.
- Плавающий режим для компактного мониторинга состояния при работе с другими приложениями.
Инструмент связывает движки WSL с любыми IDE, совместимыми с OpenAI, а базовый технологический стек построен на Go, Wails, React, TypeScript и Node.js. Первый публичный релиз доступен в виде переносимого исполняемого файла для Windows.