WattGPU predice el consumo de energía y la latencia de inferencia en GPUs y LLM no vistos

Los investigadores presentan WattGPU, una herramienta con dos modelos predictivos para el consumo medio de energía de la GPU y la Latencia entre Tokens (ITL) que opera sin perfilado de hardware. El enfoque aprovecha únicamente metadatos públicos de LLM y especificaciones de GPU para generalizar a GPUs de servidor NVIDIA no vistas y LLM.

• Evaluado en 42 LLM de código abierto (0,1B–27B parámetros) y 8 GPUs utilizando validación cruzada leave-one-GPU-out y leave-one-LLM-out.
• El modelo de consumo medio alcanza un error porcentual absoluto mediano ≤3,4% para escenarios fuera de línea y ≤13,5% para escenarios de servidor en GPUs no vistas.
• El modelo de latencia alcanza un error ≤8,5% en modo servidor, manteniendo fuertes correlaciones de clasificación de GPU (Kendall τ≥0,76).
• Reduce el error porcentual absoluto mediano aproximadamente 4× en comparación con las líneas base Load-Scaled Thermal Design Power y roofline para escenarios de servidor.

WattGPU permite a los operadores emparejar LLM específicos con las GPUs más eficientes sin perfilado exhaustivo de cada combinación, abordando la falta de herramientas para optimizar el consumo energético de los centros de datos.