WattGPU는 미시청 GPU 및 LLM에 대한 추론 전력 및 지연 시간을 예측합니다

연구자들은 하드웨어 프로파일링 없이 작동하는 평균 GPU 전력 소모량과 토큰 간 지연 시간(ITL)을 위한 두 가지 예측 모델을 갖춘 도구인 WattGPU를 소개했습니다. 이 접근 방식은 공개적으로 이용 가능한 LLM 메타데이터와 GPU 사양만 활용하여 미시청 NVIDIA 서버 등급 GPU 및 LLM에 일반화합니다.

• 42개의 오픈소스 LLM(0.1B~27B 파라미터)과 8개의 GPU를 사용하여 leave-one-GPU-out 및 leave-one-LLM-out 교차 검증으로 평가되었습니다.
• 평균 전력 소모량 모델은 미시청 GPU에서 오프라인 기준 중앙 절대 백분율 오차 ≤3.4%, 서버 시나리오 기준 ≤13.5%를 달성했습니다.
• 지연 시간 모델은 서버 모드에서 ≤8.5%의 오차를 달성하며 강력한 GPU 순위 상관관계(Kendall τ≥0.76)를 유지합니다.
• 서버 시나리오에서 Load-Scaled Thermal Design Power 및 roofline 기반과 비교하여 중앙 절대 백분율 오차를 약 4배 감소시켰습니다.

WattGPU는 연산자가 각 조합을 포괄적으로 프로파일링하지 않고도 특정 LLM에 가장 효율적인 GPU를 매칭할 수 있게 하여, 데이터 센터 에너지 소비 최적화를 위한 도구 부족 문제를 해결합니다.