Les chercheurs proposent l'Élagage Dense Conscient de l'Entropie (EADP), un cadre conçu pour pallier l'échec des méthodes d'élagage de tokens visuels existantes à préserver les indices critiques sous des instructions denses. L'approche reformule l'élagage comme un problème de compression structurée en exploitant l'entropie statistique pour filtrer le bruit textuel et en modélisant la sélection de tokens comme un problème de maximisation sous-modulaire avec une priorité spatiale.
- EADP quantifie et filtre le bruit textuel à l'aide de l'entropie statistique pour obtenir des scores de pertinence d'instruction robustes.
- La sélection de tokens est modélisée comme un problème de maximisation sous-modulaire avec une priorité spatiale afin de garantir une représentation visuelle holistique et non redondante.
- La méthode améliore le compromis précision-efficacité des Modèles Vision-Language (VLMs) sous des budgets de tokens stricts.
- EADP atteint des performances de pointe sur des benchmarks multimodaux difficiles tout en préservant les indices visuels fins.
Les auteurs considèrent cela important car il préserve robustement les indices visuels fins qui sont souvent perdus par une sélection Top-K naïve, améliorant ainsi l'efficacité et la précision globales des VLMs.