Um desenvolvedor está lançando um painel de controle de arquivo único e código aberto projetado para monitorar a infraestrutura de serviço de Modelos de Linguagem Grandes locais. A ferramenta fornece visibilidade em tempo real sobre utilização de GPU, throughput por modelo, preenchimento de cache KV e estatísticas do sistema para implantações de llama.cpp e vLLM.
- O frontend consiste em um único arquivo HTML que abre diretamente via protocolo file://, enquanto o backend usa bibliotecas padrão do Python para ler dados do nvidia-smi e métricas do Prometheus.
- Exibe detalhes da GPU por cartão incluindo VRAM, energia, temperatura e tenants de computação derivados de consultas de verdade fundamental ao invés de estimativas.
- As métricas principais do worker incluem tokens de decodificação e prefill por segundo, contagens de requisições e preenchimento de contexto, com descoberta automática de portas do servidor para lidar com trocas de modelos.
- Recursos opcionais incluem uma linha de servidor secundária para instâncias adicionais de CPU/GPU, um inventário navegável da biblioteca de modelos e um tap de raciocínio ao vivo opcional para registro de cadeia de pensamento.
O painel de controle visa melhorar a observabilidade para configurações locais de LLM, ajudando particularmente usuários que utilizam destilação de modelo professor ao visualizar os processos de raciocínio dos modelos.