Un perfilado energético sistemático de la inferencia de Modelos Visión-Lenguaje (VLM) en dispositivo a través de cinco modelos y dos plataformas de hardware revela que el principal cuello de botella energético es la generación de salida en lugar de la percepción visual. El estudio revierte la suposición común de que reducir los tokens visuales es la estrategia de eficiencia más efectiva, demostrando en su lugar que controlar la longitud de la salida es crítico para ahorrar energía.
- La potencia promedio de inferencia permanece como una constante intrínseca del modelo con menos del 5% de variación independientemente de la resolución de entrada o la complejidad de la imagen.
- Cada token de salida requiere entre 11 y 39 veces más tiempo de reloj que cada token de entrada debido a la asimetría de cómputo y memoria entre las fases de prellenado y decodificación.
La complejidad de la imagen, medida por el conteo de objetos, causa diferencias de energía de hasta 4.1x únicamente a través de variaciones en la longitud de la salida en lugar del costo de procesamiento visual.
- La poda de tokens visuales ahorra como máximo el 10% de la energía total para modelos de token fijo, mientras que controlar la longitud de la salida puede ahorrar hasta el 97% en modelos que van desde 1 mil millones hasta 8 mil millones de parámetros.
Estos hallazgos indican que el verdadero cuello de botella energético en la inferencia de VLM en el borde está determinado por cuánto genera el modelo en lugar de lo que percibe, destacando la necesidad de priorizar la eficiencia de decodificación sobre la reducción de tokens visuales.