Исследователи предлагают Entropy-Aware Dense Pruning (EADP), фреймворк, предназначенный для решения проблемы существующих методов отбрасывания визуальных токенов, не способных сохранять критические признаки при плотных инструкциях. Подход переформулирует отбрасывание как задачу структурированного сжатия, используя статистическую энтропию для фильтрации текстового шума и представляя выбор токенов как задачу субмодулярной максимизации с пространственным априорным знанием.
- EADP количественно оценивает и отфильтровывает текстовый шум с помощью статистической энтропии для получения надежных оценок релевантности инструкций.
- Выбор токенов представлен как задача субмодулярной максимизации с пространственным априорным знанием, чтобы обеспечить целостное и не избыточное визуальное представление.
- Метод улучшает компромисс между точностью и эффективностью Vision-Language Models (VLMs) при строгих бюджетах токенов.
- EADP достигает состояния искусства на сложных мультимодальных бенчмарках, сохраняя детальные визуальные признаки.
Авторы считают это важным, поскольку метод надежно сохраняет детальные визуальные признаки, которые часто теряются при простом выборе Top-K, тем самым улучшая общую эффективность и точность VLMs.