Исследователи предлагают VocaDet, фреймворк для обнаружения и сегментации объектов с открытым словарём, который изучает концепции непосредственно из предоставленных пользователем положительных и отрицательных образцов без необходимости переобучения модели. Система преобразует непрерывные визуальные представления в дискретные визуальные токены с помощью DINOv3 и агломеративной кластеризации, сохраняя их в расширяемой векторной базе данных для эффективного распознавания на основе поиска.
- Использует DINOv3 в качестве экстрактора визуальных признаков для генерации мультимасштабных визуальных токенов посредством агломеративной кластеризации с адаптивной чувствительностью.
- Сохраняет представления, освобождённые от смещения позиции, и информацию о пространственной топологии в виде расширяемой объектной памяти в векторной базе данных.
- Реализует механизм фильтрации фона для удаления частых фоновых паттернов и сокращения избыточных операций поиска в сценариях с фиксированными камерами.
- Демонстрирует эффективную производительность обнаружения с открытым словарём на наборе данных UA-DETRAC без традиционного обучения детектора.
VocaDet поддерживает непрерывно расширяемую способность распознавания по мере накопления дополнительных образцов, решая проблемы масштабируемости, присущие подходам на основе текстовых подсказок или ограниченного числа примеров.