「エッジでのLLM推論：持続負荷下でのモバイル、NPU、GPUのパフォーマンス効率のトレードオフ」と題された最近の論文は、4つの異なるハードウェアプラットフォームにわたって大規模言語モデルのパフォーマンスをベンチマークしています。この研究では、各デバイスに対して異なる推論エンジンを使用してQwen-2.5-1.5B 4bitモデルを評価し、スループット、レイテンシ、熱安定性を測定しました。

  • RPi5-Hailoは変動係数0.04%でスロットリングなしという最も一貫したパフォーマンスを示しましたが、PCIe帯域幅の制限とCPU-NPU間の通信オーバーヘッドにより、高いレイテンシ（564トークンで72秒）に苦しみました。
  • iPhone 16 Proはスマートフォンの中で最高のトークン毎秒を達成しましたが、熱活動により初期および最終イテレーションで不安定になり、~42 tok/secから23-24 tok/secに低下しました。
  • S24 Ultraはリソースの急増を管理するためにチャンク化されたプリフィルが必要でした。平均64 +/- 1.9 Cで熱を安定させましたが、周波数の下限に達し、646トークンに対して56秒のデコード時間となりました。
  • 4050チップを搭載したノートPC GPUは、熱設計電力を超えたにもかかわらず、システム電力平均34 Wという総合的なパフォーマンスで最高の結果を出しました。

レビュアーは、比較のための変動係数の使用の一貫性の欠如や、コンポーネントの使用を分離していない多様な電力指標など、研究の限界を指摘しています。