WattGPU prédit la puissance d'inférence et la latence sur des GPU et LLM non vus

Les chercheurs présentent WattGPU, un outil doté de deux modèles prédictifs pour la consommation moyenne d'énergie du GPU et la Latence Inter-Tokens (ITL) qui fonctionnent sans profilage matériel. Cette approche exploite uniquement les métadonnées des LLM publiquement disponibles et les spécifications des GPU pour se généraliser à des GPU de niveau serveur NVIDIA non vus et à des LLM.

• Évalué sur 42 LLM open-source (0,1B--27B paramètres) et 8 GPU en utilisant la validation croisée leave-one-GPU-out et leave-one-LLM-out.
• Le modèle de consommation moyenne d'énergie atteint une erreur absolue médiane en pourcentage ≤3,4 % hors ligne et ≤13,5 % pour les scénarios serveur sur des GPU non vus.
• Le modèle de latence atteint une erreur ≤8,5 % en mode serveur, maintenant de fortes corrélations de classement des GPU (Kendall τ≥0,76).
• Réduit l'erreur absolue médiane en pourcentage d'environ 4× par rapport aux bases Load-Scaled Thermal Design Power et roofline pour les scénarios serveur.

WattGPU permet aux opérateurs de faire correspondre des LLM spécifiques aux GPU les plus efficaces sans profiler exhaustivement chaque combinaison, répondant ainsi au manque d'outils pour optimiser la consommation énergétique des centres de données.