연구자들은 SaMer를 제안했습니다. 이는 객체 인식 토큰 병합 프레임워크로, 이미지 측의 프로젝트 후 토큰을 K개의 대표 중심점으로 압축하면서도 다중 벡터 비전-언어 검색을 위해 원래의 후기 상호작용 인터페이스를 보존합니다.
- SaMer는 훈련 중에만 객체 주석을 사용하여 병합 전prior로 서로 다른 인스턴스 간 혼합을 억제하며, 추론 시 정답 바운딩 박스나 검출기가 필요하지 않습니다.
- 이 방법은 비전 및 언어 백본을 동결한 채 공유 투영 레이어만 적응시킵니다.
- K=64일 때, SaMer는 이미지 측 토큰의 93% 이상을 제거하고 ColPali 저장 공간을 16.09배 줄이면서 Flickr30K 및 MSCOCO에서 R@1을 향상시킵니다.
- 이 접근 방식은 압축 기준선을 능가하며, 가지치기나 특징만 사용하는 풀링 방법과 비교하여 구문 수준 그라운딩이 더 강력함을 보여줍니다.
이러한 이점은 객체 인식 병합이 다른 압축 방법이 제거하거나 붕괴시킬 수 있는 쿼리 선택 가능한 객체 증거를 보존하기 때문에 발생하며, 이는 효율적인 다중 벡터 검색이 미래 쿼리 토큰이 선택하는 데 필요한 증거를 보존하는 것에 달려 있음을 시사합니다.