Les chercheurs proposent SaMer, un cadre de fusion de tokens conscient des objets qui compresse les tokens post-projecteur du côté image en K centroïdes représentatifs tout en préservant l'interface d'interaction tardive originale pour la récupération vision-langage multi-vecteurs.

  • SaMer utilise les annotations d'objets uniquement pendant l'entraînement comme antécédent de fusion pour décourager le mélange inter-instance et ne nécessite ni boîtes englobantes ground-truth ni détecteurs au moment de l'inférence.
  • La méthode adapte uniquement la couche de projection partagée avec les backbones vision et langue gelés.
  • Avec K=64, SaMer supprime plus de 93 % des tokens du côté image et réduit le stockage de ColPali par un facteur de 16,09 tout en améliorant le R@1 sur Flickr30K et MSCOCO.
  • L'approche surpasse les méthodes de référence de compression et montre une ancrage au niveau de la phrase plus fort par rapport aux méthodes de pruning ou de pooling uniquement sur les caractéristiques.

Ces gains proviennent du fait que la fusion consciente des objets préserve les preuves d'objets sélectionnables par la requête que d'autres méthodes de compression peuvent supprimer ou effondrer, suggérant qu'une récupération multi-vecteurs efficace dépend de la préservation des preuves dont les futurs tokens de requête ont besoin pour sélectionner.