Los investigadores extienden el marco LeJEPA para alinear representaciones centradas en objetos en lugar de imágenes completas, abordando la inestabilidad del particionamiento de escenas auto-supervisado mediante el uso de propuestas SAM listas para usar para máscaras de objetos. El método incorpora una pérdida de separación de instancias que trata a otros objetos en una escena como negativos para mejorar el rendimiento.
- Extiende el objetivo anti-colapso distribucional de LeJEPA a conjuntos de objetos de tamaño variable.
- Utiliza propuestas SAM económicas y listas para usar para proporcionar máscaras de objetos durante el entrenamiento.
- Aplica una pérdida de separación de instancias para tratar a otros objetos como negativos.
- Supera a LeJEPA a nivel de imagen en dos escalas de modelos en el 10-100% de los datos de COCO.
LeJEPA a nivel de objeto demuestra un rendimiento superior en seguimiento (DAVIS), clasificación (ImageNet-1k), segmentación (ADE20k) y reidentificación (NAVI) en comparación con su contraparte a nivel de imagen.