研究人员推出了 WattGPU，该工具包含两个预测模型，用于预测平均 GPU 功耗和令牌间延迟（ITL），且无需硬件分析。该方法仅利用公开的 LLM 元数据和 GPU 规格，以泛化到未见过的 NVIDIA 服务器级 GPU 和 LLM。
- 在 42 个开源 LLM（0.1B–27B 参数）和 8 个 GPU 上进行了评估，采用留一 GPU 和留一 LLM 交叉验证。
- 平均功耗模型在未见的 GPU 上对离线场景的中位绝对百分比误差达到 ≤3.4%，对服务器场景达到 ≤13.5%。
- 延迟模型在服务器模式下实现 ≤8.5% 的误差，并保持强劲的 GPU 排名相关性（Kendall τ≥0.76）。
- 与 Load-Scaled Thermal Design Power 和 roofline 基线相比，将服务器场景的中位绝对百分比误差降低了约 4 倍。
WattGPU 使运营商能够将特定的 LLM 匹配到最高效的 GPU，而无需对每种组合进行详尽的分析，从而解决了缺乏优化数据中心能耗工具的问题。