作者介绍了 CMDR 和 CMDR-Bench，这是一项新任务和基准，旨在通过要求对文档上下文进行建模，而不是仅仅进行词汇或语义匹配，来评估多模态文档检索。为了解决这个问题，他们提出了 CMDR-Embed，这是一个联合编码多个页面以推导出上下文页面级嵌入的框架，使用新颖的 CMCL 目标进行训练。

  • CMDR-Bench 评估检索方法在跨多个页面聚合信息方面的能力。
  • CMDR-Embed 通过联合编码多个页面显式地包含文档上下文。
  • CMCL 是一种上下文多模态对比学习目标，它在上下文建模与页面级可区分性之间取得平衡。
  • 实验表明，CMDR-Embed 显著优于非上下文嵌入。

这项工作强调了上下文感知的多模态嵌入在推进文档检索任务中的重要性。