저자들은 CMDR와 CMDR-Bench를 소개합니다. 이는 문서의 컨텍스트를 모델링하는 것을 요구함으로써 단순한 어휘적 또는 의미적 매칭이 아닌 멀티모달 문서 검색을 평가하도록 설계된 새로운 작업 및 벤치마크입니다. 이를 해결하기 위해 저자들은 여러 페이지를 공동 인코딩하여 컨텍스트 기반 페이지 레벨 임베딩을 유도하고, 새로운 CMCL 목적 함수로 학습되는 프레임워크 CMDR-Embed를 제안합니다.
- CMDR-Bench는 여러 페이지에 걸쳐 정보를 집계하는 능력을 기준으로 검색 방법을 평가합니다.
- CMDR-Embed는 여러 페이지를 공동 인코딩하여 문서 컨텍스트를 명시적으로 통합합니다.
- CMCL은 컨텍스트 모델링과 페이지 레벨 판별력을 균형 있게 맞추는 문맥 기반 멀티모달 대비 학습 목적 함수입니다.
- 실험 결과, CMDR-Embed가 비컨텍스트 임베딩을 크게 상회함을 보여줍니다.
본 연구는 문서 검색 작업의 발전을 위해 컨텍스트 인식 멀티모달 임베딩의 중요성을 강조합니다.