研究者らは、ハードウェアプロファイリングを行わずに動作する、平均GPU電力消費量とトークン間レイテンシ（ITL）のための2つの予測モデルを搭載したツール「WattGPU」を発表しました。このアプローチは、公開されているLLMのメタデータとGPU仕様のみを活用し、未見のNVIDIAサーバーグレードGPUおよびLLMに一般化します。

  • 42件のオープンソースLLM（0.1B〜27Bパラメータ）と8つのGPUを用い、leave-one-GPU-outおよびleave-one-LLM-out交差検証で評価されました。
  • 平均電力消費量モデルは、未見のGPUにおいてオフラインで中央絶対パーセント誤差≤3.4%、サーバーシナリオで≤13.5%を達成しました。
  • レイテンシモデルはサーバーモードで≤8.5%の誤差を実現し、強力なGPUランキング相関（Kendall τ≥0.76）を維持しています。
  • サーバーシナリオにおいて、Load-Scaled Thermal Design Powerおよびrooflineベースラインと比較して、中央絶対パーセント誤差を約4倍削減しました。

WattGPUにより、演算者は各組み合わせを網羅的にプロファイリングすることなく、特定のLLMに最も効率的なGPUをマッチさせることができ、データセンターのエネルギー消費を最適化するツールの欠如という課題に対処します。