研究者らは、FoCoを提案した。これはゼロショット複合画像検索（ZS-CIR）のための手法であり、構成を2つの協調された段階としてモデル化する：修正に関連する視覚コンテンツに焦点を当てることと、ターゲットのセマンティクスを完成させること。このアプローチは、既存のプロキシタスクにおける制限に対処するために、テキストアンカー型視覚集約とコンテキスト条件付きセマンティック補完を利用している。ここで、構成関数は学習されていないままである。

  • FoCoは、テキストアンカー型視覚集約を採用し、局所的なテキストセマンティクスによって誘導されながら視覚コンテンツを選択的に収集する。
  • 残りのシーンコンテキストと組み合わされた集約された視覚情報を一貫性のある複合表現に変形させるために、コンテキスト条件付きセマンティック補完を使用する。
  • これらのタスクは、セマンティックの多様性を促進し、ショートカット構成戦略を抑制するために、クロスインスタンス対比目的関数と共同で訓練される。
  • 4つのZS-CIRベンチマークでの広範な実験により、FoCoの最先端のパフォーマンスと改善された汎化能力が示されている。

著者らはこれを重要と考えている。なぜなら、この手法はモデルが多様で微細なセマンティック変更を表現することを可能にし、先行研究で使用されていた事前定義された構成メカニズムの制約を克服するからである。