تم إصدار مشروع جديد يُسمى vLLM Launcher كتطبيق سطح مكتب لنظام Windows مصمم لإدارة استدلال النماذج اللغوية الكبيرة محليًا عبر WSL2. يسمح هذا الأداة للمستخدمين بالتحكم في العديد من خلفيات المحركات، بما في ذلك vLLM و SGLang و llama.cpp، من واجهة رسومية واحدة.

  • إدارة متعددة المحركات لـ vLLM و SGLang و llama.cpp عبر واجهة سطح مكتب واحدة.
  • بوابة API محلية توفر نقاط نهاية متوافقة مع OpenAI و Anthropic.
  • بطاقات مثيل لبدء وإيقاف وإعادة تشغيل وفحص سير عمل النماذج.
  • تتضمن الميزات سجلات الطلبات، وفحوصات الصحة، ومقاييس وقت التشغيل، واكتشاف النماذج على القرص.
  • وضع عائم لمراقبة الحالة بشكل مضغوط أثناء استخدام تطبيقات أخرى.

تربط الأداة محركات WSL بأي بيئة تطوير متوافقة مع OpenAI، مع بناء مجموعة التقنيات الأساسية على Go و Wails و React و TypeScript و Node.js. الإصدار العام الأول متاح كملف تنفيذي محمول لنظام Windows.