WSL2를 통해 로컬 대규모 언어 모델 추론을 관리하도록 설계된 vLLM Launcher라는 새로운 프로젝트가 Windows 데스크톱 애플리케이션으로 출시되었습니다. 이 도구를 사용하면 단일 그래픽 인터페이스에서 vLLM, SGLang 및 llama.cpp를 포함한 여러 엔진 백엔드를 제어할 수 있습니다.

  • 하나의 데스크톱 UI를 통해 vLLM, SGLang 및 llama.cpp에 대한 멀티 엔진 관리.
  • OpenAI 호환 및 Anthropic 호환 엔드포인트를 제공하는 로컬 API 게이트웨이.
  • 모델 워크플로우 시작, 중지, 재시작 및 검사를 위한 인스턴스 카드.
  • 요청 로그, 상태 확인, 런타임 메트릭 및 디스크 모델 검색 기능 포함.
  • 다른 애플리케이션을 사용하면서 컴팩트한 상태 모니터링을 위한 플로팅 모드.

이 도구는 WSL 엔진을 모든 OpenAI 호환 IDE에 브릿징하며, 기반 기술 스택은 Go, Wails, React, TypeScript 및 Node.js로 구축되었습니다. 첫 번째 공개 릴리스는 휴대용 Windows 실행 파일로 제공됩니다.