LeJEPA berpusat objek menggunakan masker SAM untuk meningkatkan efisiensi data

Peneliti memperluas kerangka kerja LeJEPA untuk menyelaraskan representasi yang berpusat pada objek, bukan gambar utuh, dengan mengatasi ketidakstabilan partisi adegan self-supervised dengan menggunakan proposal SAM off-the-shelf untuk masker objek. Metode ini menggabungkan kerugian pemisahan instance yang memperlakukan objek lain dalam sebuah adegan sebagai negatif untuk meningkatkan kinerja.

• Memperluas tujuan anti-runtuh distribusi LeJEPA ke himpunan objek berukuran variabel.
• Menggunakan proposal SAM off-the-shelf yang murah untuk menyediakan masker objek selama pelatihan.
• Menerapkan kerugian pemisahan instance untuk memperlakukan objek lain sebagai negatif.
• Mengungguli LeJEPA tingkat gambar di dua skala model pada 10-100% data COCO.

LeJEPA tingkat objek menunjukkan kinerja superior dalam pelacakan (DAVIS), klasifikasi (ImageNet-1k), segmentasi (ADE20k), dan re-identifikasi (NAVI) dibandingkan dengan rekan setingkat gambarnya.