يقدم المؤلفون CMDR وCMDR-Bench، وهي مهمة ومعيار جديد مصمم لتقييم استرجاع المستندات متعددة الوسائط من خلال مطالبة بنمذجة سياق المستند بدلاً من المطابقة المعجمية أو الدلالية فقط. ولمعالجة ذلك، يقترحون CMDR-Embed، وهو إطار عمل يشفّر صفحات متعددة بشكل مشترك لاستخراج تضمينات على مستوى الصفحة سياقية، ويتم تدريبه باستخدام هدف CMCL جديد.
- يقيّم CMDR-Bench طرق الاسترجاع بناءً على قدرتها على تجميع المعلومات عبر صفحات متعددة.
- يدمج CMDR-Embed سياق المستند صراحةً من خلال تشفير صفحات متعددة بشكل مشترك.
- CMCL هو هدف تعلم تقابلي متعدد الوسائط سياقي يوازن بين النمذجة السياقية والتمييز على مستوى الصفحة.
- تُظهر التجارب أن CMDR-Embed يتفوق بشكل كبير على التضمينات غير السياقية.
تسلط هذه الدراسة الضوء على أهمية التضمينات متعددة الوسائط الواعية بالسياق لتقدم مهام استرجاع المستندات.