研究人员提出了 FoCo，一种用于零样本组合图像检索（ZS-CIR）的方法，该方法将组合建模为两个协调阶段：关注与修改相关的视觉内容并补全目标语义。该方法利用文本锚定视觉聚合和上下文条件语义补全，以解决现有代理任务中组合函数未被学习的问题。

  • FoCo 采用文本锚定视觉聚合，通过局部化文本语义引导选择性收集视觉内容。
  • 它使用上下文条件语义补全，将聚合后的视觉信息与剩余场景上下文结合，转化为连贯的组合表示。
  • 这些任务与跨实例对比目标联合训练，以鼓励语义多样性并抑制捷径组合策略。
  • 在四个 ZS-CIR 基准上的大量实验证明了 FoCo 的最先进（state-of-the-art）性能以及改进的泛化能力。

作者认为这很重要，因为它允许模型表达多样且细粒度的语义修改，克服了先前工作中使用的预定义组合机制的限制。