Un profilage énergétique systématique de l'inférence Vision-Language Model (VLM) sur dispositif à travers cinq modèles et deux plateformes matérielles révèle que le goulot d'énergie principal est la génération de sortie plutôt que la perception visuelle. L'étude renverse l'hypothèse commune selon laquelle la réduction des tokens visuels est la stratégie d'efficacité la plus efficace, démontrant au contraire que contrôler la longueur de sortie est critique pour les économies d'énergie.
- La puissance d'inférence moyenne reste une constante intrinsèque au modèle avec moins de 5 % de variation quelle que soit la résolution d'entrée ou la complexité de l'image.
- Chaque token de sortie nécessite entre 11 et 39 fois plus de temps réel que chaque token d'entrée en raison de l'asymétrie de calcul et de mémoire entre les phases de prefill et de decode.
- La complexité de l'image, mesurée par le nombre d'objets, provoque jusqu'à 4,1x de différences énergétiques uniquement par des variations de la longueur de sortie plutôt que par le coût du traitement visuel.
- Le pruning des tokens visuels économise au maximum 10 % de l'énergie totale pour les modèles à tokens fixes, tandis que le contrôle de la longueur de sortie peut économiser jusqu'à 97 % sur des modèles allant de 1 milliard à 8 milliards de paramètres.
Ces résultats indiquent que le véritable goulot d'énergie dans l'inférence VLM edge est déterminé par ce que le modèle génère plutôt que par ce qu'il perçoit, soulignant la nécessité de prioriser l'efficacité du décodage par rapport à la réduction des tokens visuels.