Pesquisadores estendem o framework LeJEPA para alinhar representações centradas em objetos em vez de imagens inteiras, abordando a instabilidade da partição de cenas auto-supervisionada usando propostas SAM prontas para uso para máscaras de objetos. O método incorpora uma perda de separação de instâncias que trata outros objetos em uma cena como negativos para melhorar o desempenho.

  • Estende o objetivo anti-colapso distribucional do LeJEPA para conjuntos de objetos de tamanho variável.
  • Usa propostas SAM baratas e prontas para uso para fornecer máscaras de objetos durante o treinamento.
  • Aplica uma perda de separação de instâncias para tratar outros objetos como negativos.
  • Supera o LeJEPA em nível de imagem em duas escalas de modelos em 10-100% dos dados do COCO.

O LeJEPA em nível de objeto demonstra desempenho superior em rastreamento (DAVIS), classificação (ImageNet-1k), segmentação (ADE20k) e reidentificação (NAVI) em comparação com sua contraparte em nível de imagem.