Pesquisadores propõem o VocaDet, um framework para detecção e segmentação de objetos de vocabulário aberto que aprende conceitos diretamente a partir de amostras positivas e negativas fornecidas pelo usuário sem exigir retreinamento do modelo. O sistema transforma representações visuais contínuas em tokens visuais discretos usando DINOv3 e agrupamento aglomerativo, armazenando-os em um banco de dados vetorial expansível para reconhecimento eficiente baseado em recuperação.
- Utiliza o DINOv3 como extrator de características visuais para gerar tokens visuais multigranulares por meio de agrupamento aglomerativo com sensibilidade adaptativa.
- Armazena representações sem viés posicional e informações de topologia espacial como memórias de objetos expansíveis em um banco de dados vetorial.
- Implementa um mecanismo de filtragem de fundo para remover padrões de fundo frequentes e reduzir operações de recuperação redundantes em cenários com câmeras fixas.
- Demonstra desempenho eficaz de detecção de vocabulário aberto no conjunto de dados UA-DETRAC sem treinamento convencional do detector.
O VocaDet suporta capacidade de reconhecimento continuamente expansível à medida que amostras adicionais são acumuladas, abordando problemas de escalabilidade encontrados em abordagens baseadas em prompts de texto ou exemplos limitados.