Исследователи предлагают SaMer, framework слияния токенов, учитывающий объекты, который сжимает пост-проекторные токены на стороне изображения до K репрезентативных центроидов, сохраняя при этом оригинальный интерфейс позднего взаимодействия для многовекторного поиска в задачах зрения и языка.
- SaMer использует аннотации объектов только во время обучения как приоритет слияния, чтобы предотвратить смешивание различных экземпляров, и не требует истинных ограничивающих рамок или детекторов на этапе вывода.
- Метод адаптирует только общий слой проекции при замороженных визуальных и языковых бэкбонетах.
- При K=64 SaMer удаляет более 93% токенов на стороне изображения и сокращает хранение ColPali в 16.09 раз, одновременно улучшая показатель R@1 на наборах данных Flickr30K и MSCOCO.
- Подход превосходит базовые методы сжатия и демонстрирует более сильное фразовое заземление по сравнению с методами прунинга или только пулинга признаков.
Эти преимущества возникают потому, что слияние, учитывающее объекты, сохраняет доказательства объектов, выбираемые запросом, которые другие методы сжатия могут удалить или свернуть, что указывает на то, что эффективный многовекторный поиск зависит от сохранения доказательств, необходимых будущим токенам запроса для выбора.