연구자들은 모델 재학습 없이 사용자가 제공한 양성과 음성 샘플에서 개념을 직접 학습하는 오픈 어휘 객체 검출 및 분할을 위한 프레임워크인 VocaDet를 제안합니다. 이 시스템은 DINOv3와 계층적 클러스터링을 사용하여 연속적인 시각적 표현을 이산화된 시각적 토큰으로 변환하고, 효율적인 검색 기반 인식을 위해 확장 가능한 벡터 데이터베이스에 저장합니다.

  • 적응형 민감도를 가진 계층적 클러스터링을 통해 다중 세분성의 시각적 토큰을 생성하기 위해 시각적 특징 추출기로 DINOv3를 활용합니다.
  • 위치 편향이 없는 표현과 공간 위상 정보를 벡터 데이터베이스 내의 확장 가능한 객체 메모리로 저장합니다.
  • 고정 카메라 시나리오에서 빈번한 배경 패턴을 제거하고 중복 검색 작업을 줄이기 위한 배경 필터링 메커니즘을 구현합니다.
  • 기존 검출기 학습 없이 UA-DETRAC 데이터셋에서 효과적인 오픈 어휘 검출 성능을 입증합니다.

VocaDet는 추가 샘플이 축적됨에 따라 지속적으로 확장 가능한 인식 능력을 지원하며, 텍스트 프롬프트나 제한된 예시 기반 접근 방식에서 발견되는 확장성 문제를 해결합니다.