Pesquisadores apresentam o WattGPU, uma ferramenta com dois modelos preditivos para consumo médio de energia da GPU e Latência entre Tokens (ITL) que opera sem perfilamento de hardware. A abordagem aproveita apenas metadados públicos de LLM e especificações de GPU para generalizar para GPUs de servidor NVIDIA não vistas e LLMs.
- Avaliado em 42 LLMs de código aberto (0,1B–27B parâmetros) e 8 GPUs usando validação cruzada leave-one-GPU-out e leave-one-LLM-out.
- O modelo de consumo médio atinge erro percentual absoluto mediano ≤3,4% para cenários offline e ≤13,5% para cenários de servidor em GPUs não vistas.
- O modelo de latência atinge erro ≤8,5% no modo servidor, mantendo fortes correlações de classificação de GPU (Kendall τ≥0,76).
- Reduz o erro percentual absoluto mediano em aproximadamente 4× em comparação com as linhas de base Load-Scaled Thermal Design Power e roofline para cenários de servidor.
O WattGPU permite que operadores correspondam LLMs específicos às GPUs mais eficientes sem perfilamento exaustivo de cada combinação, abordando a falta de ferramentas para otimizar o consumo de energia de data centers.