Los investigadores proponen Grounded Context Preference Optimization (Groc-PO), un marco diseñado para abordar problemas de falta de veracidad como las alucinaciones visuales y la fabricación de contenido en Modelos de Lenguaje Grande Multimodales (MLLMs). El método aborda el desafío de asignación de crédito donde la Direct Preference Optimization (DPO) estándar falla en suprimir la propagación de errores desde las etapas tempranas de fundamentación al aplicar supervisión solo en la respuesta final.
- Groc-PO introduce supervisión de preferencia explícita a través de múltiples etapas fundamentadas en lugar de solo la salida final.
- Los autores construyen el Grounded Context Preference Dataset (GCPD) con muestras multietapa que cubren Object Grounding, Contextual Grounding y Grounded Reasoning.
- Este enfoque tiene como objetivo capturar la formación, integración y utilización del contexto fundamentado para mitigar la propagación de errores entre etapas.
Experimentos extensos demuestran que Groc-PO mejora el rendimiento en la mitigación de alucinaciones, razonamiento fiel y confiabilidad general en comparación con DPO estándar y otras líneas base.