最近一篇题为“边缘大语言模型推理：持续负载下的移动设备、NPU 和 GPU 性能效率权衡”的论文，对四种不同硬件平台上的大语言模型性能进行了基准测试。该研究针对每个设备使用不同的推理引擎评估 Qwen-2.5-1.5B 4bit 模型，以衡量吞吐量、延迟和热稳定性。

  • RPi5-Hailo 表现出最一致的性能，变异系数为 .04%，且无降频，但受限于 PCIe 带宽限制和 CPU-NPU 通信开销，其延迟较高（564 个 token 耗时 72 秒）。
  • iPhone 16 Pro 在智能手机中实现了最高的每秒 token 数，但在初始和最终迭代中出现不稳定，由于热活动影响，从约 42 tok/sec 降至 23-24 tok/sec。
  • S24 Ultra 需要分块预填充以管理资源峰值；虽然其平均温度稳定在 64 +/- 1.9 C，但触发了频率下限，导致 646 个 token 的解码时间为 56 秒。
  • 搭载 4050 芯片的笔记本 GPU 尽管超过了热设计功耗，平均系统功耗为 34 W，但仍提供了最佳的整体性能。

评论者指出该研究存在局限性，包括不一致地使用变异系数进行比较，以及未能隔离组件使用情况的 varying power metrics。