Авторы представляют CMDR и CMDR-Bench, новую задачу и бенчмарк, предназначенные для оценки мультимодального поиска документов путем моделирования контекста документа, а не просто лексического или семантического совпадения. Для решения этой задачи они предлагают CMDR-Embed, фреймворк, который совместно кодирует несколько страниц для получения контекстуальных вложений на уровне страницы, обученных с помощью новой цели CMCL.
- CMDR-Bench оценивает методы поиска по их способности агрегировать информацию across нескольких страницах.
- CMDR-Embed явно включает контекст документа путем совместного кодирования нескольких страниц.
- CMCL — это цель контекстуального мультимодального контрастного обучения, которая балансирует между моделированием контекста и дискриминативностью на уровне страницы.
- Эксперименты показывают, что CMDR-Embed значительно превосходит неконтекстуальные вложения.
Работа подчеркивает важность контекстно-зависимых мультимодальных вложений для продвижения задач поиска документов.