研究者たちは、LeJEPAフレームワークを拡張し、画像全体ではなくオブジェクト中心の表現をアラインメントすることで、オフザシェルフのSAM提案を用いてオブジェクトマスクを提供し、自己教師ありシーンパーティショニングの不安定性に対処した。この手法は、シーン内の他のオブジェクトをネガティブとして扱うことでパフォーマンスを向上させるインスタンス分離損失を組み込んでいる。

  • LeJEPAの分布アンチクラップス目標を可変サイズのオブジェクトセットに拡張する。
  • 訓練中にオブジェクトマスクを提供するために、安価なオフザシェルフのSAM提案を利用する。
  • 他のオブジェクトをネガティブとして扱うためにインスタンス分離損失を適用する。
  • COCOデータの10〜100%において、2つのモデルスケールで画像レベルのLeJEPAを上回るパフォーマンスを示す。

オブジェクトレベルのLeJEPAは、追跡（DAVIS）、分類（ImageNet-1k）、セグメンテーション（ADE20k）、再識別（NAVI）において、その画像レベルの対応物と比較して優れたパフォーマンスを示す。