Pesquisadores propõem o SaMer, um framework de fusão de tokens consciente de objetos que comprime os tokens pós-projetor do lado da imagem em K centróides representativos enquanto preserva a interface de interação tardia original para recuperação multimodal de visão e linguagem com múltiplos vetores.
- O SaMer usa anotações de objetos apenas durante o treinamento como uma prioridade de fusão para desencorajar a mistura entre instâncias e não requer caixas delimitadoras ou detectores no tempo de inferência.
- O método adapta apenas a camada de projeção compartilhada com os backbones de visão e linguagem congelados.
- Com K=64, o SaMer remove mais de 93% dos tokens do lado da imagem e reduz o armazenamento do ColPali em 16.09x enquanto melhora o R@1 no Flickr30K e MSCOCO.
- A abordagem supera as linhas de base de compressão e mostra um grounding a nível de frase mais forte em comparação com métodos de poda ou pooling apenas de características.
Esses ganhos surgem porque a fusão consciente de objetos preserva evidências de objetos selecionáveis pela consulta que outros métodos de compressão podem remover ou colapsar, sugerindo que a recuperação eficiente com múltiplos vetores depende da preservação das evidências que os futuros tokens de consulta precisam para selecionar.