Los investigadores proponen VocaDet, un marco para la detección y segmentación de objetos de vocabulario abierto que aprende conceptos directamente a partir de muestras positivas y negativas proporcionadas por el usuario sin requerir reentrenamiento del modelo. El sistema transforma representaciones visuales continuas en tokens visuales discretos utilizando DINOv3 y agrupamiento aglomerativo, almacenándolos en una base de datos vectorial expandible para un reconocimiento eficiente basado en recuperación.
- Utiliza DINOv3 como extractor de características visuales para generar tokens visuales multigranulares mediante agrupamiento aglomerativo con sensibilidad adaptativa.
- Almacena representaciones sin sesgo posicional e información de topología espacial como memorias de objetos expandibles en una base de datos vectorial.
- Implementa un mecanismo de filtrado de fondo para eliminar patrones de fondo frecuentes y reducir operaciones de recuperación redundantes en escenarios con cámaras fijas.
- Demuestra un rendimiento efectivo de detección de vocabulario abierto en el conjunto de datos UA-DETRAC sin entrenamiento convencional del detector.
VocaDet admite una capacidad de reconocimiento continuamente expandible a medida que se acumulan muestras adicionales, abordando problemas de escalabilidad encontrados en enfoques basados en indicaciones de texto o ejemplos limitados.