Profil energi sistematis dari inferensi Vision-Language Model (VLM) di perangkat melintasi lima model dan dua platform perangkat keras mengungkapkan bahwa hambatan energi utama adalah generasi keluaran daripada persepsi visual. Studi ini membantah asumsi umum bahwa mengurangi token visual adalah strategi efisiensi yang paling efektif, menunjukkan sebaliknya bahwa mengendalikan panjang keluaran sangat penting untuk penghematan daya.
- Daya inferensi rata-rata tetap konstan intrinsik model dengan variasi kurang dari 5% terlepas dari resolusi input atau kompleksitas gambar.
- Setiap token keluaran memerlukan waktu dinding 11 hingga 39 kali lebih lama daripada setiap token input karena asimetri komputasi dan memori antara fase prefill dan decode.
- Kompleksitas gambar, diukur berdasarkan jumlah objek, menyebabkan perbedaan energi hingga 4,1x semata-mata melalui variasi panjang keluaran bukan biaya pemrosesan visual.
- Pemangkasan token visual menghemat paling banyak 10% dari total energi untuk model token tetap, sedangkan mengendalikan panjang keluaran dapat menghemat hingga 97% di seluruh model yang berkisar dari 1 miliar hingga 8 miliar parameter.
Temuan ini menunjukkan bahwa hambatan energi sejati dalam inferensi VLM edge ditentukan oleh seberapa banyak model menghasilkan daripada apa yang dipersepsikannya, menyoroti perlunya memprioritaskan efisiensi decoding dibandingkan pengurangan token visual.