CMDR présente un benchmark et un cadre pour la récupération de documents multimodaux contextuels

Les auteurs introduisent CMDR et CMDR-Bench, une nouvelle tâche et un benchmark conçus pour évaluer la récupération de documents multimodaux en exigeant la modélisation du contexte du document plutôt que le simple appariement lexical ou sémantique. Pour y remédier, ils proposent CMDR-Embed, un cadre qui encode conjointement plusieurs pages pour dériver des embeddings de page au niveau contextuel, entraîné avec un objectif CMCL novateur.

• CMDR-Bench évalue les méthodes de récupération sur leur capacité à agréger des informations sur plusieurs pages.
• CMDR-Embed intègre explicitement le contexte du document en encodant conjointement plusieurs pages.
• CMCL est un objectif d'apprentissage contrastif multimodal contextuel qui équilibre la modélisation contextuelle avec la discriminabilité au niveau de la page.
• Les expériences montrent que CMDR-Embed surpasse significativement les embeddings non contextuels.

Ce travail met en lumière l'importance des embeddings multimodaux sensibles au contexte pour faire progresser les tâches de récupération de documents.