Os autores apresentam o CMDR e o CMDR-Bench, uma nova tarefa e benchmark projetada para avaliar a recuperação multimodal de documentos exigindo a modelagem do contexto do documento em vez de apenas correspondência léxica ou semântica. Para abordar isso, eles propõem o CMDR-Embed, um framework que codifica conjuntamente múltiplas páginas para derivar embeddings contextuais em nível de página, treinados com um objetivo CMCL novel.
- O CMDR-Bench avalia métodos de recuperação em sua capacidade de agregar informações entre múltiplas páginas.
- O CMDR-Embed incorpora explicitamente o contexto do documento codificando conjuntamente múltiplas páginas.
- O CMCL é um objetivo de aprendizado contrastivo multimodal contextual que equilibra a modelagem contextual com a discriminabilidade em nível de página.
- Experimentos mostram que o CMDR-Embed supera significativamente embeddings não contextuais.
O trabalho destaca a importância de embeddings multimodais conscientes do contexto para avançar tarefas de recuperação de documentos.