يقوم مطوّر بإطلاق لوحة تحكم مفتوحة المصدر وملف واحد مصممة لمراقبة بنية تقديم النماذج اللغوية الكبيرة (LLM) محلياً. توفر الأداة رؤية فورية لاستخدام وحدة معالجة الرسومات (GPU)، ومعدل الاستجابة لكل نموذج، وملء ذاكرة التخزين المؤقت KV، وإحصاءات النظام لتوزيعات llama.cpp و vLLM.
- يتكون الواجهة الأمامية من ملف HTML واحد يُفتح مباشرة عبر بروتوكول file://، بينما يستخدم الخلفية مكتبات Python القياسية لقراءة بيانات nvidia-smi ومقاييس Prometheus.
- يعرض تفاصيل GPU لكل بطاقة بما في ذلك ذاكرة الفيديو (VRAM)، والطاقة، ودرجة الحرارة، وخوادم الحوسبة المستمدة من استعلامات الحقيقة الأرضية بدلاً من التقديرات.
- تشمل مقاييس العامل الرئيسية عدد رموز فك التشفير والتهيئة المسبقة في الثانية، وعدد الطلبات، وملء السياق، مع اكتشاف تلقائي لمنافذ الخادم للتعامل مع تبديل النماذج.
- تتضمن الميزات الاختيارية صف خادم ثانوي لمزيد من مثيلات CPU/GPU، ومخزون مكتبة نماذج يمكن تصفحه، ونقرة استدلال مباشر اختيارية لتسجيل سلسلة التفكير (chain-of-thought).
تهدف لوحة التحكم إلى تحسين إمكانية الرصد لإعدادات LLM المحلية، مما يساعد بشكل خاص المستخدمين الذين يستخدمون تقنيّة تقطير النماذج المدرّسة من خلال تصور عمليات الاستدلال الخاصة بالنماذج.