著者は、文書のコンテキストをモデル化することを要求することで、単なる語彙的または意味的なマッチングではなくマルチモーダル文書検索を評価するために設計された新しいタスクおよびベンチマークであるCMDRとCMDR-Benchを紹介します。これに対処するため、彼らは複数のページを共同エンコードしてコンテキスト対応のページレベル埋め込みを導出し、新規なCMCL目的関数で訓練されるフレームワークCMDR-Embedを提案します。

  • CMDR-Benchは、複数ページにわたる情報の集約能力に基づいて検索手法を評価します。
  • CMDR-Embedは、複数のページを共同エンコードすることで文書のコンテキストを明示的に組み込みます。
  • CMCLは、コンテキストモデル化とページレベルの識別性をバランスさせる文脈対応マルチモーダルcontrastive学習目的関数です。
  • 実験により、CMDR-Embedが非コンテキスト埋め込みを大幅に上回ることが示されました。

本研究は、文書検索タスクの進展においてコンテキスト対応マルチモーダル埋め込みの重要性を浮き彫りにしています。