Los autores presentan CMDR y CMDR-Bench, una nueva tarea y benchmark diseñada para evaluar la recuperación multimodal de documentos al requerir el modelado del contexto del documento en lugar de solo coincidencia léxica o semántica. Para abordar esto, proponen CMDR-Embed, un marco de trabajo que codifica conjuntamente múltiples páginas para derivar incrustaciones contextuales a nivel de página, entrenadas con un objetivo CMCL novedoso.
- CMDR-Bench evalúa los métodos de recuperación en su capacidad para agregar información entre múltiples páginas.
- CMDR-Embed incorpora explícitamente el contexto del documento codificando conjuntamente múltiples páginas.
- CMCL es un objetivo de aprendizaje contrastivo multimodal contextual que equilibra el modelado contextual con la discriminabilidad a nivel de página.
- Los experimentos muestran que CMDR-Embed supera significativamente a las incrustaciones no contextuales.
El trabajo destaca la importancia de las incrustaciones multimodales conscientes del contexto para avanzar en tareas de recuperación de documentos.