Groc-PO는 다중 모달 환각을 줄이기 위한 근거 기반 문맥 선호 최적화를 도입

연구자들은 Grounded Context Preference Optimization (Groc-PO)를 제안했습니다. 이는 다중 모달 대규모 언어 모델(MLLMs)의 허위 주장, 시각적 환각, 콘텐츠 조작과 같은 문제를 해결하기 위해 설계된 프레임워크입니다. 이 방법은 표준 Direct Preference Optimization (DPO)가 최종 답변에만 감독을 적용하여 초기 근거 단계로부터의 오류 전파를 억제하지 못하는 신용 할당 과제에 대응합니다.

• Groc-PO는 최종 출력뿐만 아니라 여러 근거 단계 전반에 명시적인 선호 감독을 도입합니다.
• 저자들은 Object Grounding, Contextual Grounding, Grounded Reasoning을 아우르는 다단계 샘플을 포함하는 Grounded Context Preference Dataset (GCPD)를 구성했습니다.
• 이 접근법은 근거 기반 문맥의 형성, 통합 및 활용을 포착하여 단계 간 오류 전파를 완화하는 것을 목표로 합니다.

광범위한 실험 결과, Groc-PO가 표준 DPO 및 기타 기준선과 비교해 환각 완화, 충실한 추론, 전반적인 신뢰성 성능을 향상시키는 것으로 나타났습니다.