Un desarrollador está lanzando un panel de control de código abierto y de archivo único diseñado para monitorear la infraestructura de servicio de modelos de lenguaje grandes locales. La herramienta proporciona visibilidad en tiempo real sobre el uso de GPU, rendimiento por modelo, llenado de caché KV y estadísticas del sistema para implementaciones de llama.cpp y vLLM.
- El frontend consiste en un solo archivo HTML que se abre directamente mediante el protocolo file://, mientras que el backend utiliza bibliotecas estándar de Python para leer datos de nvidia-smi y métricas de Prometheus.
- Muestra detalles de GPU por tarjeta incluyendo VRAM, potencia, temperatura y tenants de cómputo derivados de consultas de verdad fundamental en lugar de estimaciones.
- Las métricas principales del trabajador incluyen tokens de decodificación y prellenado por segundo, conteos de solicitudes y llenado de contexto, con descubrimiento automático de puertos del servidor para manejar intercambios de modelos.
- Características opcionales incluyen una fila de servidor secundaria para instancias adicionales de CPU/GPU, un inventario navegable de la biblioteca de modelos y un tap de razonamiento en vivo opcional para registro de cadena de pensamiento.
El panel de control tiene como objetivo mejorar la observabilidad para configuraciones locales de LLM, ayudando particularmente a usuarios que utilizan destilación de modelo maestro al visualizar los procesos de razonamiento de los modelos.