EADP 对抗密集视觉令牌剪枝中的文本噪声和冗余

研究人员提出了熵感知密集剪枝（Entropy-Aware Dense Pruning，EADP），旨在解决现有视觉令牌剪枝方法在密集指令下无法保留关键线索的问题。该方法利用统计熵过滤文本噪声，并将令牌选择表述为具有空间先验的子模最大化问题，从而将剪枝重新构建为结构化压缩问题。

• EADP 使用统计熵量化并过滤文本噪声，以生成鲁棒的指令相关性分数。
• 令牌选择被表述为具有空间先验的子模最大化问题，以确保整体且非冗余的视觉表示。
• 该方法在严格的令牌预算下改善了 Vision-Language Models (VLMs) 的精度与效率权衡。
• EADP 在具有挑战性的多模态基准测试中达到了最先进性能，同时保留了细粒度的视觉线索。

作者认为这一点很重要，因为它能鲁棒地保留细粒度视觉线索，而这些线索通常会在简单的 Top-K 选择中丢失，从而提高了 VLMs 的整体效率和准确性。