연구자들은 LeJEPA 프레임워크를 확장하여 전체 이미지 대신 객체 중심 표현을 정렬하고, 오프더셸프 SAM 제안을 사용하여 객체 마스크를 제공함으로써 자기지도 학습 장면 분할의 불안정성을 해결했습니다. 이 방법은 장면 내 다른 객체를 부정 샘플로 처리하여 성능을 향상시키는 인스턴스 분리 손실을 통합합니다.

  • LeJEPA의 분포적 붕괴 방지 목표를 가변 크기의 객체 집합으로 확장합니다.
  • 훈련 중 객체 마스크를 제공하기 위해 저렴한 오프더셸프 SAM 제안을 사용합니다.
  • 다른 객체를 부정 샘플로 처리하기 위해 인스턴스 분리 손실을 적용합니다.
  • COCO 데이터의 10~100%에 대해 두 모델 스케일에서 이미지 레벨 LeJEPA보다 우수한 성능을 보입니다.

객체 레벨 LeJEPA는 추적(DAVIS), 분류(ImageNet-1k), 분할(ADE20k), 재식별(NAVI)에서 이미지 레벨 대응물보다 뛰어난 성능을 입증했습니다.