Pesquisadores propõem o Entropy-Aware Dense Pruning (EADP), um framework projetado para abordar a falha dos métodos existentes de poda de tokens visuais em preservar pistas críticas sob instruções densas. A abordagem reformula a poda como um problema de compressão estruturada, aproveitando a entropia estatística para filtrar ruído textual e formulando a seleção de tokens como um problema de maximização submodular com uma prioridade espacial.
- O EADP quantifica e filtra o ruído textual usando entropia estatística para obter escores robustos de relevância da instrução.
- A seleção de tokens é formulada como um problema de maximização submodular com uma prioridade espacial para garantir uma representação visual holística e não redundante.
- O método melhora a compensação entre precisão e eficiência dos Vision-Language Models (VLMs) sob orçamentos estritos de tokens.
- O EADP alcança desempenho de estado da arte em benchmarks multimodais desafiadores, preservando pistas visuais de granularidade fina.
Os autores consideram isso importante porque preserva robustamente as pistas visuais de granularidade fina que são frequentemente perdidas pela seleção ingênua Top-K, melhorando assim a eficiência e a precisão gerais dos VLMs.