Исследователи расширяют фреймворк LeJEPA для выравнивания объектно-центрированных представлений вместо целых изображений, решая проблему нестабильности самоконтролируемого разделения сцен путем использования готовых предложений SAM для масок объектов. Метод включает потерю разделения экземпляров, которая рассматривает другие объекты на сцене как негативные примеры для повышения производительности.
- Расширяет распределительную цель предотвращения коллапса LeJEPA для наборов объектов переменного размера.
- Использует дешевые готовые предложения SAM для предоставления масок объектов во время обучения.
- Применяет потерю разделения экземпляров, чтобы рассматривать другие объекты как негативные.
- Превосходит объектно-ориентированный LeJEPA на уровне изображений в двух масштабах моделей на 10-100% данных COCO.
Объектно-уровневый LeJEPA демонстрирует превосходную производительность в отслеживании (DAVIS), классификации (ImageNet-1k), сегментации (ADE20k) и повторной идентификации (NAVI) по сравнению с его аналогом на уровне изображений.