一名开发者正在发布一个开源的单文件仪表板，旨在监控本地大型语言模型服务基础设施。该工具提供GPU利用率、每模型吞吐量、KV缓存填充以及llama.cpp和vLLM部署的系统统计信息的实时可见性。

  • 前端由单个HTML文件组成，可通过file://协议直接打开，而后端使用标准Python库读取nvidia-smi数据和Prometheus指标。
  • 显示每张卡的GPU详细信息，包括VRAM、功耗、温度以及源自真实查询而非估计的计算租户。
  • 主要工作器指标包括每秒解码和预填充令牌、请求计数和上下文填充，并具有自动发现服务器端口以处理模型交换的功能。
  • 可选功能包括用于额外CPU/GPU实例的次要服务器行、可浏览的模型库清单以及用于思维链日志记录的可选实时推理监听。

该仪表板旨在改善本地LLM设置的可见性，特别有助于通过可视化模型的推理过程来辅助使用教师模型蒸馏的用户。