研究者らは、SaMerを提案した。これは物体認識型トークンマージングフレームワークであり、画像側のポストプロジェクタトークンをK個の代表クラスタ中心に圧縮しつつ、マルチベクトルビジョン・ランゲージ検索のために元の後期相互作用インターフェースを保持する。

  • SaMerは訓練中にのみ物体注釈を使用し、マージ前の段階で異なるインスタンス間の混合を抑制する。推論時には正解のバウンディングボックスや検出器を必要としない。
  • この手法は、ビジョンおよび言語バックボーンを凍結させたまま共有投影層のみを適応させる。
  • K=64の場合、SaMerは画像側のトークンの93%以上を削除し、ColPaliのストレージを16.09倍削減しつつ、Flickr30KおよびMSCOCOにおけるR@1を改善する。
  • このアプローチは圧縮ベースラインを上回り、プルーニングや特徴量のみによるプーリング手法と比較してフレーズレベルのグラウンディングがより強力であることを示している。

これらの利点は、物体認識型マージが他の圧縮手法が削除または崩壊させうるクエリ選択可能な物体の証拠を保持するためであり、効率的なマルチベクトル検索は将来のクエリトークンが選択するために必要な証拠を保持することに依存していることを示唆している。