WSL2 を介してローカル大規模言語モデルの推論を管理するために設計された、vLLM Launcher という新しいプロジェクトが Windows デスクトップアプリケーションとしてリリースされました。このツールを使用すると、vLLM、SGLang、llama.cpp を含む複数のエンジンバックエンドを単一のグラフィカルインターフェースから制御できます。

  • 1つのデスクトップUI経由でvLLM、SGLang、llama.cppのマルチエンジン管理。
  • OpenAI互換およびAnthropic互換のエンドポイントを提供するローカルAPIゲートウェイ。
  • モデルワークフローの開始、停止、再起動、および検査のためのインスタンスカード。
  • リクエストログ、ヘルスチェック、ランタイムメトリクス、ディスク上のモデル検出などの機能。
  • 他のアプリケーションを使用しながらコンパクトなステータス監視を行うためのフロートモード。

このツールはWSLエンジンをOpenAI互換のIDEにブリッジし、基盤となる技術スタックはGo、Wails、React、TypeScript、Node.jsで構築されています。最初の公開リリースはポータブルWindows実行ファイルとして利用可能です。