研究人员提出了 VocaDet，这是一种用于开放词汇目标检测和分割的框架，它直接从用户提供的正负样本中学习概念，而无需对模型进行重新训练。该系统使用 DINOv3 和凝聚聚类将连续的视觉表示转换为离散的视觉标记，并将其存储在可扩展的向量数据库中，以实现基于检索的高效识别。
- 利用 DINOv3 作为视觉特征提取器，通过具有自适应灵敏度的凝聚聚类生成多粒度视觉标记。
- 将去位置偏差的表示和空间拓扑信息存储为向量数据库中的可扩展对象内存。
- 实现背景过滤机制，以去除频繁的背景模式并减少固定摄像头场景中的冗余检索操作。
- 在 UA-DETRAC 数据集上展示了有效的开放词汇检测性能，无需传统的检测器训练。
随着积累更多样本，VocaDet 支持持续扩展的识别能力，解决了基于文本提示或有限示例方法中存在的可扩展性问题。