शोधकर्ताओं ने WattGPU पेश किया, जो एक औज़ार है जिसमें माध्य GPU पावर ड्रॉ और इंटर-टोकन लेटेंसी (ITL) के लिए दो पूर्वानुमान मॉडल हैं जो हार्डवेयर प्रोफाइलिंग के बिना काम करते हैं। यह दृष्टिकोण अज्ञात NVIDIA सर्वर-ग्रेड GPU और LLM पर सामान्यीकरण करने के लिए केवल सार्वजनिक रूप से उपलब्ध LLM मेटाडेटा और GPU विनिर्देशों का लाभ उठाता है।
- 42 ओपन-सोर्स LLM (0.1B--27B पैरामीटर) और 8 GPU पर लीव-वन-GPU-आउट और लीव-वन-LLM-आउट क्रॉस-वैलिडेशन का उपयोग करके मूल्यांकन किया गया।
- माध्य पावर ड्रॉ मॉडल अज्ञात GPU पर ऑफ़लाइन के लिए ≤3.4% और सर्वर परिदृश्यों के लिए ≤13.5% का मीडियन एब्सोल्यूट प्रतिशत त्रुटि प्राप्त करता है।
- लेटेंसी मॉडल सर्वर मोड में ≤8.5% त्रुटि प्राप्त करता है, GPU रैंकिंग सहसंबंध (Kendall τ≥0.76) को बनाए रखते हुए।
- सर्वर परिदृश्यों के लिए Load-Scaled Thermal Design Power और रोफ़लाइन बेलाइन की तुलना में मीडियन एब्सोल्यूट प्रतिशत त्रुटि को लगभग 4× कम करता है।
WattGPU ऑपरेटरों को विशिष्ट LLM को सबसे कुशल GPU से मिलाने सक्षम बनाता है, बिना प्रत्येक संयोजन का थकाऊ प्रोफाइलिंग किए, डेटा सेंटर ऊर्जा खपत को अनुकूलित करने के लिए औज़ार की कमी को दूर करता है।