研究人员提出了 SaMer，一种感知对象的 token 合并框架，它将图像侧的后投影器 token 压缩为 K 个代表性质心，同时保留了用于多向量视觉-语言检索的原始晚期交互接口。

  • SaMer 仅在训练期间使用对象注释作为合并先验，以抑制跨实例混合，并且在推理时不需要真实边界框或检测器。
  • 该方法仅调整共享投影层，同时冻结视觉和语言主干网络。
  • 当 K=64 时，SaMer 移除了超过 93% 的图像侧 token，并将 ColPali 存储减少了 16.09 倍，同时提高了 Flickr30K 和 MSCOCO 上的 R@1 指标。
  • 该方法优于压缩基线，并且与剪枝或仅特征池化方法相比，显示出更强的短语级定位能力。

这些增益源于感知对象的合并保留了查询可选择对象证据，而其他压缩方法可能会移除或折叠这些证据，这表明高效的多向量检索依赖于保留未来查询 token 选择所需的证据。