ある開発者が、ローカルの大規模言語モデル（LLM）サービングインフラストラクチャを監視するために設計されたオープンソースの単一ファイルダッシュボードをリリースしました。このツールは、llama.cppおよびvLLMデプロイメントにおけるGPU利用率、モデルごとのスループット、KVキャッシュの占有率、システム統計情報に対するリアルタイムの可視性を提供します。

  • フロントエンドはfile://プロトコルで直接開く単一のHTMLファイルで構成され、バックエンドは標準的なPythonライブラリを使用してnvidia-smiデータとPrometheusメトリクスを読み取ります。
  • 各GPUカードの詳細（VRAM、電力、温度、推論テナント）を表示し、これらは見積もりではなく実測クエリから導出されます。
  • 主要なワーカーメトリクスには、1秒あたりのデコードおよびプリフィルトークン数、リクエスト数、コンテキスト占有率が含まれ、モデルの切り替えに対応するためにサーバーポートの自動検出を行います。
  • オプション機能には、追加のCPU/GPUインスタンス用のセカンダリサーバー行、参照可能なモデルライブラリのインベントリ、および思考連鎖（chain-of-thought）ログ用のオプションライブ推論タップが含まれます。

このダッシュボードは、特に教師モデル蒸留を利用するユーザーを支援するため、ローカルLLMセットアップの観測可能性の向上を目指しています。