Para peneliti mengusulkan SaMer, sebuah kerangka penggabungan token yang sadar objek yang mengompresi token sisi gambar pasca-proyektor menjadi K pusat perwakilan sambil mempertahankan antarmuka interaksi akhir asli untuk pengambilan visi-bahasa multi-vektor.
- SaMer hanya menggunakan anotasi objek selama pelatihan sebagai prior penggabungan untuk mencegah pencampuran antar-instans dan tidak memerlukan kotak batas ground-truth atau detektor saat inferensi.
- Metode ini hanya menyesuaikan lapisan proyeksi bersama dengan backbone visi dan bahasa yang dibekukan.
- Dengan K=64, SaMer menghapus lebih dari 93% token sisi gambar dan mengurangi penyimpanan ColPali sebesar 16,09x sambil meningkatkan R@1 pada Flickr30K dan MSCOCO.
- Pendekatan ini mengungguli baseline kompresi dan menunjukkan grounding tingkat frasa yang lebih kuat dibandingkan metode pruning atau pooling hanya-fitur.
Peningkatan ini terjadi karena penggabungan sadar objek mempertahankan bukti objek yang dapat dipilih oleh kueri, yang dapat dihapus atau diruntuhkan oleh metode kompresi lain, menunjukkan bahwa pengambilan multi-vektor yang efisien bergantung pada pelestarian bukti yang dibutuhkan token kueri masa depan untuk memilih.