Um perfilamento energético sistemático da inferência de Modelos Visão-Linguagem (VLM) em dispositivo, realizado com cinco modelos e duas plataformas de hardware, revela que o principal gargalo energético é a geração de saída, e não a percepção visual. O estudo derruba a suposição comum de que reduzir tokens visuais é a estratégia de eficiência mais eficaz, demonstrando que controlar o comprimento da saída é crucial para economizar energia.
- A potência média de inferência permanece uma constante intrínseca ao modelo, com variação inferior a 5%, independentemente da resolução de entrada ou da complexidade da imagem.
- Cada token de saída requer de 11 a 39 vezes mais tempo de relógio do que cada token de entrada devido à assimetria de computação e memória entre as fases de prefill e decode.
- A complexidade da imagem, medida pela contagem de objetos, causa diferenças de energia de até 4,1x exclusivamente por meio de variações no comprimento da saída, e não pelo custo do processamento visual.
- A poda de tokens visuais economiza no máximo 10% da energia total para modelos com tokens fixos, enquanto controlar o comprimento da saída pode economizar até 97% em modelos que variam de 1 bilhão a 8 bilhões de parâmetros.
Esses resultados indicam que o verdadeiro gargalo energético na inferência de VLMs em dispositivos de borda é determinado pela quantidade gerada pelo modelo, e não pelo que ele percebe, destacando a necessidade de priorizar a eficiência do decoding em detrimento da redução de tokens visuais.