Независимый исследователь опубликовал обзор литературы, анализирующий, снижают ли методы сжатия моделей, такие как квантование, прунинг и дистилляция, фактически измеряемое энергопотребление или лишь уменьшают количество FLOPs.

  • Обзор опирается на корпус из 53 работ за период с 2019 по 2026 год.
  • Программные оценщики энергопотребления и аппаратные счетчики (RAPL, NVML) расходятся на величины, сопоставимые с claimed экономией от методов сжатия.
  • FLOPs слабо коррелируют с измеренным энергопотреблением после учета пропускной способности памяти, размера батча и реализации бэкенд-ядер.
  • Рейтинги сжатия на одной аппаратной платформе не переносятся надежно на другую.

Автор делится обзором и связанными таблицами данных на Zenodo и GitHub, одновременно запрашивая поддержку cs.LG для публикации работы на arXiv.