Los investigadores proponen Entropy-Aware Dense Pruning (EADP), un marco diseñado para abordar el fallo de los métodos existentes de poda de tokens visuales para preservar pistas críticas bajo instrucciones densas. El enfoque reformula la poda como un problema de compresión estructurada aprovechando la entropía estadística para filtrar el ruido textual y planteando la selección de tokens como un problema de maximización submodular con una prioridad espacial.
- EADP cuantifica y filtra el ruido textual utilizando entropía estadística para obtener puntuaciones robustas de relevancia de instrucciones.
- La selección de tokens se plantea como un problema de maximización submodular con una prioridad espacial para garantizar una representación visual holística y no redundante.
- El método mejora el equilibrio entre precisión y eficiencia de Vision-Language Models (VLMs) bajo presupuestos estrictos de tokens.
- EADP alcanza un rendimiento de estado del arte en benchmarks multimodales desafiantes mientras preserva pistas visuales de gran detalle.
Los autores consideran esto importante porque preserva robustamente las pistas visuales de gran detalle que a menudo se pierden con la selección ingenua Top-K, mejorando así la eficiencia y precisión generales de VLMs.