Seorang pengembang merilis dashboard open-source satu file yang dirancang untuk memantau infrastruktur penyajian model bahasa besar (LLM) secara lokal. Alat ini memberikan visibilitas waktu nyata ke pemanfaatan GPU, throughput per-model, pengisian cache KV, dan statistik sistem untuk penyebaran llama.cpp dan vLLM.
- Frontend terdiri dari satu file HTML yang dibuka langsung melalui protokol file://, sementara backend menggunakan pustaka Python standar untuk membaca data nvidia-smi dan metrik Prometheus.
- Alat ini menampilkan detail GPU per-kartu termasuk VRAM, daya, suhu, dan tenant komputasi yang diturunkan dari kueri ground-truth bukan perkiraan.
- Metrik pekerja utama mencakup token decode dan prefill per detik, jumlah permintaan, dan pengisian konteks, dengan penemuan otomatis port server untuk menangani pergantian model.
- Fitur opsional termasuk baris server sekunder untuk instance CPU/GPU tambahan, inventaris perpustakaan model yang dapat dijelajahi, dan tap penalaran langsung opsional untuk pencatatan chain-of-thought.
Dashboard ini bertujuan meningkatkan observabilitas untuk pengaturan LLM lokal, khususnya membantu pengguna yang memanfaatkan distilasi model guru dengan memvisualisasikan proses penalaran model.