一位独立研究人员发表了一篇文献综述，分析了量化、剪枝和知识蒸馏等模型压缩技术是否真正降低了实测能耗，还是仅仅减少了 FLOPs。

  • 该综述基于 2019 年至 2026 年间 53 部作品的语料库。
  • 软件能量估算器和硬件计数器（RAPL、NVML）的差异幅度与压缩方法声称的节省量相当。
  • 在考虑内存带宽、批大小和后端内核实现后，FLOPs 与实测能耗的相关性较弱。
  • 在一个硬件平台上的压缩排名不能可靠地转移到另一个平台上。

作者在 Zenodo 和 GitHub 上分享了该综述及相关数据表，同时寻求 cs.LG 的支持以在 arXiv 上发表该工作。