LeJEPA centré sur les objets utilise les masques SAM pour améliorer l'efficacité des données

Les chercheurs étendent le cadre LeJEPA pour aligner les représentations centrées sur les objets plutôt que les images entières, abordant l'instabilité du partitionnement de scène auto-supervisé en utilisant des propositions SAM hors-tissu pour les masques d'objets. La méthode intègre une perte de séparation d'instance qui traite les autres objets dans une scène comme des négatifs pour améliorer les performances.

• Étend l'objectif anti-effondrement distributionnel de LeJEPA à des ensembles d'objets de taille variable.
• Utilise des propositions SAM hors-tissu bon marché pour fournir des masques d'objets pendant l'entraînement.
• Applique une perte de séparation d'instance pour traiter les autres objets comme des négatifs.
• Surpasse LeJEPA au niveau de l'image sur deux échelles de modèles pour 10 à 100 % des données COCO.

LeJEPA au niveau de l'objet démontre une performance supérieure en suivi (DAVIS), classification (ImageNet-1k), segmentation (ADE20k) et ré-identification (NAVI) par rapport à son homologue au niveau de l'image.