WattGPU прогнозирует энергопотребление и задержки вывода на неизвестных GPU и LLM

Исследователи представляют WattGPU, инструмент с двумя прогнозными моделями для среднего потребления энергии GPU и межтокеновой задержки (ITL), работающий без профилирования оборудования. Подход использует только общедоступные метаданные LLM и спецификации GPU для обобщения на неизвестные серверные GPU NVIDIA и LLM.

• Оценен на 42 открытых LLM (0,1B–27B параметров) и 8 GPU с использованием перекрестной проверки с исключением одного GPU и одного LLM.
• Модель среднего потребления энергии достигает медианной абсолютной процентной ошибки ≤3,4% для офлайн-сценариев и ≤13,5% для серверных сценариев на неизвестных GPU.
• Модель задержки достигает ошибки ≤8,5% в серверном режиме, сохраняя сильную корреляцию ранжирования GPU (Kendall τ≥0,76).
• Снижает медианную абсолютную процентную ошибку примерно в 4 раза по сравнению с базовыми значениями Load-Scaled Thermal Design Power и roofline для серверных сценариев.

WattGPU позволяет операторам сопоставлять конкретные LLM с наиболее эффективными GPU без исчерпывающего профилирования каждой комбинации, решая проблему отсутствия инструментов для оптимизации энергопотребления дата-центров.