研究者たちは、Grounded Context Preference Optimization (Groc-PO) を提案しました。これは、マルチモーダル大規模言語モデル（MLLMs）における虚偽の主張、視覚的幻覚、およびコンテンツ捏造といった問題に対処するために設計されたフレームワークです。この手法は、標準的なDirect Preference Optimization (DPO) が最終回答のみへの監督を適用することで、初期の接地段階からの誤り伝播を抑制できないという信用配分の課題に取り組みます。

  • Groc-POは、最終出力だけでなく複数の接地段階全体に明示的な優先監督を導入します。
  • 著者たちは、Object Grounding、Contextual Grounding、Grounded Reasoningをカバーする多段階サンプルを含むGrounded Context Preference Dataset (GCPD) を構築しました。
  • このアプローチは、接地文脈の形成、統合、利用を捉えることで、段階間の誤り伝播を軽減することを目指しています。

広範な実験により、Groc-POが標準的なDPOや他のベースラインと比較して、幻覚の軽減、忠実な推論、および全体的な信頼性のパフォーマンスを向上させることが示されました。