एक डेवलपर स्थानीय बड़े भाषा मॉडल सेवा इंफ्रास्ट्रक्चर की निगरानी के लिए डिज़ाइन किए गए ओपन-सोर्स, सिंगल-फाइल डैशबोर्ड को जारी कर रहा है। यह टूल GPU उपयोगिता, प्रति-मॉडल थ्रूपुट, KV कैश फिल और llama.cpp व vLLM डिप्लॉयमेंट के लिए सिस्टम सांख्यिकी में रियल-टाइम दृश्यता प्रदान करता है।
- फ्रंटएंड एक सिंगल HTML फ़ाइल से बना है जो सीधे file:// प्रोटोकॉल के माध्यम से खुलता है, जबकि बैकएंड nvidia-smi डेटा और Prometheus मेट्रिक्स को पढ़ने के लिए मानक Python लाइब्रेरी का उपयोग करता है।
- यह प्रति-कार्ड GPU विवरण प्रदर्शित करता है जिसमें VRAM, पावर, तापमान और ग्राउंड-ट्रुथ क्वेरी से व्युत्पन्न कंप्यूट टेंनंट शामिल हैं, न कि अनुमानों से।
- प्राथमिक वर्कर मेट्रिक्स में प्रति सेकंड डीकोड और प्रीफिल टोकन, अनुरोध गणना और संदर्भ फिल शामिल हैं, जिसमें मॉडल स्वैप को संभालने के लिए सर्वर पोर्ट का ऑटो-डिस्कवरी होता है।
- वैकल्पिक सुविधाओं में अतिरिक्त CPU/GPU इंस्टेंस के लिए एक सेकंडरी सर्वर पंक्ति, ब्राउज़ेबल मॉडल लाइब्रेरी इन्वेंट्री और चेन-ऑफ़-थॉट लॉगिंग के लिए एक वैकल्पिक लाइव रीजनिंग टैप शामिल हैं।
डैशबोर्ड स्थानीय LLM सेटअप के लिए ओब्ज़र्वेबिलिटी को बेहतर बनाने का उद्देश्य रखता है, विशेष रूप से उन उपयोगकर्ताओं की मदद करता है जो टीचर मॉडल डिस्टिलेशन का उपयोग करते हैं, जिससे मॉडल की तर्क प्रक्रियाओं को दृश्यमान किया जाता है।