Los investigadores proponen SaMer, un marco de fusión de tokens consciente de objetos que comprime los tokens post-proyector del lado de la imagen en K centroides representativos mientras preserva la interfaz de interacción tardía original para la recuperación multimodal de visión e idioma con múltiples vectores.
- SaMer utiliza anotaciones de objetos solo durante el entrenamiento como una prioridad de fusión para desalentar la mezcla entre instancias y no requiere cajas delimitadoras ni detectores en tiempo de inferencia.
- El método adapta únicamente la capa de proyección compartida con las backbones de visión e idioma congeladas.
- Con K=64, SaMer elimina más del 93% de los tokens del lado de la imagen y reduce el almacenamiento de ColPali en 16.09x mientras mejora R@1 en Flickr30K y MSCOCO.
- El enfoque supera las líneas base de compresión y muestra una fundamentación a nivel de frase más fuerte en comparación con métodos de poda o agrupamiento solo de características.
Estas ganancias surgen porque la fusión consciente de objetos preserva la evidencia de objetos seleccionable por la consulta que otros métodos de compresión pueden eliminar o colapsar, lo que sugiere que la recuperación eficiente con múltiples vectores depende de preservar la evidencia que los futuros tokens de consulta necesitan para seleccionar.