Un développeur publie un tableau de bord open-source en fichier unique conçu pour surveiller l'infrastructure de service de grands modèles de langage (LLM) locaux. L'outil offre une visibilité en temps réel sur l'utilisation du GPU, le débit par modèle, le remplissage du cache KV et les statistiques système pour les déploiements llama.cpp et vLLM.
- Le frontend consiste en un seul fichier HTML qui s'ouvre directement via le protocole file://, tandis que le backend utilise des bibliothèques Python standard pour lire les données nvidia-smi et les métriques Prometheus.
- Il affiche les détails GPU par carte, y compris la VRAM, la puissance, la température et les locataires de calcul dérivés de requêtes de vérité terrain plutôt que d'estimations.
- Les métriques principales du worker incluent les tokens de décodage et de préremplissage par seconde, le nombre de requêtes et le remplissage du contexte, avec une découverte automatique des ports serveur pour gérer les changements de modèle.
- Les fonctionnalités optionnelles incluent une ligne de serveur secondaire pour des instances CPU/GPU supplémentaires, un inventaire consultable de la bibliothèque de modèles et un tap de raisonnement en direct optionnel pour la journalisation de la chaîne de pensée (chain-of-thought).
Le tableau de bord vise à améliorer l'observabilité des configurations LLM locales, aidant particulièrement les utilisateurs qui utilisent la distillation de modèle enseignant en visualisant les processus de raisonnement des modèles.