以对象为中心的 LeJEPA 使用 SAM 掩码提高数据效率

研究人员扩展了 LeJEPA 框架，使其对齐以对象为中心表示而非整张图像，通过使用现成的 SAM 提议作为对象掩码来解决自监督场景划分的稳定性问题。该方法包含一个实例分离损失，将场景中的其他对象视为负样本以提升性能。

• 将 LeJEPA 的分布防坍缩目标扩展到可变大小的对象集合。
• 使用廉价的现成 SAM 提议在训练期间提供对象掩码。
• 应用实例分离损失，将其他对象视为负样本。
• 在 COCO 数据的 10-100% 上，两个模型规模均优于图像级 LeJEPA。

与图像级对应方法相比，对象级 LeJEPA 在跟踪（DAVIS）、分类（ImageNet-1k）、分割（ADE20k）和重识别（NAVI）方面表现出更优越的性能。