Un nouveau projet appelé vLLM Launcher a été publié en tant qu'application de bureau Windows conçue pour gérer l'inférence de grands modèles linguistiques locaux via WSL2. Cet outil permet aux utilisateurs de contrôler plusieurs backends de moteurs, y compris vLLM, SGLang et llama.cpp, depuis une interface graphique unique.

  • Gestion multi-moteur pour vLLM, SGLang et llama.cpp via une seule interface de bureau.
  • Passerelle API locale offrant des points de terminaison compatibles avec OpenAI et Anthropic.
  • Cartes d'instance pour démarrer, arrêter, redémarrer et inspecter les flux de travail des modèles.
  • Fonctionnalités incluant les journaux de requêtes, les vérifications de santé, les métriques d'exécution et la découverte de modèles sur disque.
  • Mode flottant pour une surveillance compacte de l'état lors de l'utilisation d'autres applications.

L'outil relie les moteurs WSL à n'importe quel IDE compatible OpenAI, avec la pile technologique sous-jacente construite sur Go, Wails, React, TypeScript et Node.js. La première version publique est disponible en tant qu'exécutable portable pour Windows.