Les chercheurs proposent VocaDet, un cadre de détection et de segmentation d'objets à vocabulaire ouvert qui apprend les concepts directement à partir d'échantillons positifs et négatifs fournis par l'utilisateur sans nécessiter de réentraînement du modèle. Le système transforme les représentations visuelles continues en jetons visuels discrets à l'aide de DINOv3 et d'un clustering hiérarchique, les stockant dans une base de données vectorielle extensible pour une reconnaissance basée sur la récupération efficace.
- Utilise DINOv3 comme extracteur de caractéristiques visuelles pour générer des jetons visuels multi-granularité via un clustering hiérarchique avec sensibilité adaptative.
- Stocke les représentations débiaisées par la position et les informations de topologie spatiale en tant que mémoires d'objets extensibles dans une base de données vectorielle.
- Implémente un mécanisme de filtrage du fond pour éliminer les motifs de fond fréquents et réduire les opérations de récupération redondantes dans des scénarios à caméra fixe.
- Démonstre une performance efficace de détection à vocabulaire ouvert sur le jeu de données UA-DETRAC sans entraînement conventionnel de détecteur.
VocaDet prend en charge une capacité de reconnaissance continuellement extensible au fur et à mesure que des échantillons supplémentaires sont accumulés, répondant aux problèmes d'évolutivité rencontrés dans les approches par invite textuelle ou à exemples limités.