Groc-PO memperkenalkan optimasi preferensi konteks terlandaskan untuk mengurangi halusinasi multimodal

Para peneliti mengusulkan Grounded Context Preference Optimization (Groc-PO), sebuah kerangka kerja yang dirancang untuk mengatasi masalah ketidakjujuran seperti halusinasi visual dan fabrikasi konten dalam Model Bahasa Besar Multimodal (MLLMs). Metode ini menangani tantangan penugasan kredit di mana Direct Preference Optimization (DPO) standar gagal menekan propagasi kesalahan dari tahap pengondisian awal dengan menerapkan pengawasan hanya pada jawaban akhir.

• Groc-PO memperkenalkan pengawasan preferensi eksplisit di seluruh beberapa tahap terlandaskan, bukan hanya pada output akhir.
• Para penulis menyusun Grounded Context Preference Dataset (GCPD) dengan sampel multi-tahap yang mencakup Object Grounding, Contextual Grounding, dan Grounded Reasoning.
• Pendekatan ini bertujuan untuk menangkap pembentukan, integrasi, dan pemanfaatan konteks terlandaskan guna mengurangi propagasi kesalahan antar tahap.

Eksperimen ekstensif menunjukkan bahwa Groc-PO meningkatkan kinerja dalam mitigasi halusinasi, penalaran yang setia, dan keandalan keseluruhan dibandingkan dengan DPO standar dan baseline lainnya.