5つのモデルと2つのハードウェアプラットフォームにわたるオンデバイスVision-Language Model (VLM) 推論の体系的なエネルギープロファイリングにより、主要なエネルギーボトルネックは視覚的知覚ではなく出力生成であることが明らかになった。この研究は、視覚トークンを削減することが最も効果的な効率化戦略であるという一般的な仮説を覆し、電力節約には出力長の制御が重要であることを実証している。

  • 平均推論電力は入力解像度や画像の複雑さに関わらず5%未満の変動でモデル固有の一定値である。
  • 各出力トークンには、prefillとdecodeフェーズ間の計算およびメモリ非対称性により、各入力トークンよりも11〜39倍のウォールクロック時間がかかる。
  • オブジェクト数で測定される画像の複雑さは、視覚的処理コストではなく出力長のばらつきを通じて最大4.1倍のエネルギー差を引き起こす。
  • 固定トークンモデルにおいて視覚トークンのプルーニングが節約できる総エネルギーは最大10%であるのに対し、10億〜80億パラメータのモデル間で出力長を制御することで最大97%の節約が可能である。

これらの知見は、エッジVLM推論における真のエネルギーボトルネックが何を認識するかではなく、どれだけ生成するかによって決定されることを示しており、視覚トークン削減よりもデコーディング効率を優先する必要性を浮き彫りにしている。