Para penulis memperkenalkan CMDR dan CMDR-Bench, sebuah tugas dan benchmark baru yang dirancang untuk mengevaluasi pengambilan dokumen multimodal dengan mensyaratkan pemodelan konteks dokumen daripada sekadar pencocokan leksikal atau semantik. Untuk mengatasi hal ini, mereka mengusulkan CMDR-Embed, sebuah kerangka kerja yang mengkodekan beberapa halaman secara bersama-sama untuk menurunkan embedding tingkat halaman kontekstual, yang dilatih dengan tujuan CMCL yang baru.
- CMDR-Bench mengevaluasi metode pengambilan berdasarkan kemampuan mereka dalam menggabungkan informasi di seluruh beberapa halaman.
- CMDR-Embed secara eksplisit memasukkan konteks dokumen dengan mengkodekan beberapa halaman secara bersama-sama.
- CMCL adalah tujuan pembelajaran kontras multimodal kontekstual yang menyeimbangkan pemodelan kontekstual dengan diskriminabilitas tingkat halaman.
- Eksperimen menunjukkan bahwa CMDR-Embed secara signifikan mengungguli embedding non-kontekstual.
Karya ini menyoroti pentingnya embedding multimodal yang sadar konteks untuk memajukan tugas pengambilan dokumen.