Разработчик выпускает одностраничную панель мониторинга с открытым исходным кодом, предназначенную для наблюдения за инфраструктурой обслуживания локальных больших языковых моделей. Инструмент обеспечивает видимость в реальном времени для утилизации GPU, пропускной способности на модель, заполнения KV кэша и системной статистики для развертываний llama.cpp и vLLM.
- Фронтенд состоит из одного HTML-файла, который открывается напрямую через протокол file://, в то время как бэкенд использует стандартные библиотеки Python для чтения данных nvidia-smi и метрик Prometheus.
- Отображаются детали GPU для каждой карты, включая VRAM, питание, температуру и вычислительные тенанты, полученные из запросов с истинными значениями, а не из оценок.
- Основные метрики рабочего процесса включают токены декодирования и префиллинга в секунду, количество запросов и заполнение контекста, с автоматическим обнаружением портов сервера для обработки замены моделей.
- Дополнительные функции включают вторую строку сервера для дополнительных экземпляров CPU/GPU, обозримый инвентарь библиотеки моделей и необязательный живой отклик рассуждений для логирования цепочки мыслей.
Панель мониторинга направлена на улучшение наблюдаемости для локальных установок LLM, особенно помогая пользователям, использующим дистилляцию учителем модели, визуализируя процессы рассуждения моделей.