Para peneliti mengusulkan VocaDet, sebuah kerangka kerja untuk deteksi dan segmentasi objek kosakata terbuka yang mempelajari konsep langsung dari sampel positif dan negatif yang disediakan pengguna tanpa memerlukan pelatihan ulang model. Sistem ini mengubah representasi visual kontinu menjadi token visual diskrit menggunakan DINOv3 dan pengelompokan agregatif, menyimpannya dalam basis data vektor yang dapat diperluas untuk pengenalan berbasis pengambilan yang efisien.
- Memanfaatkan DINOv3 sebagai ekstraktor fitur visual untuk menghasilkan token visual multi-granularitas melalui pengelompokan agregatif dengan sensitivitas adaptif.
- Menyimpan representasi yang bebas bias posisi dan informasi topologi spasial sebagai memori objek yang dapat diperluas dalam basis data vektor.
- Mengimplementasikan mekanisme filter latar belakang untuk menghapus pola latar belakang yang sering muncul dan mengurangi operasi pengambilan redundan dalam skenario kamera tetap.
- Menunjukkan kinerja deteksi kosakata terbuka yang efektif pada dataset UA-DETRAC tanpa pelatihan detektor konvensional.
VocaDet mendukung kemampuan pengenalan yang terus dapat diperluas seiring akumulasi sampel tambahan, mengatasi masalah skalabilitas yang ditemukan dalam pendekatan prompt teks atau contoh terbatas.