研究者らは、モデルの再学習を必要とせず、ユーザーが提供した正例および負例のサンプルから直接概念を学習するオープンボキャブラリオブジェクト検出およびセグメンテーションのためのフレームワークであるVocaDetを提案している。本システムは、DINOv3および凝集型クラスタリングを使用して連続的な視覚表現を離散化された視覚トークンに変換し、効率的な検索ベースの認識のために拡張可能なベクトルデータベースに格納する。

  • 適応感度を持つ凝集型クラスタリングによりマルチグラニュラリティの視覚トークンを生成するために、視覚特徴抽出器としてDINOv3を利用する。
  • 位置バイアスのない表現と空間トポロジー情報を、ベクトルデータベース内の拡張可能なオブジェクトメモリとして格納する。
  • 固定カメラシナリオにおいて頻繁な背景パターンを除去し、冗長な検索操作を削減するための背景フィルタリングメカニズムを実装する。
  • 従来の検出器の学習なしに、UA-DETRACデータセットで効果的なオープンボキャブラリ検出パフォーマンスを示す。

VocaDetは、追加のサンプルが蓄積されるにつれて継続的に拡張可能な認識能力をサポートし、テキストプロンプトや限られた例に基づくアプローチで見られるスケーラビリティの問題に対処する。