Les chercheurs proposent Grounded Context Preference Optimization (Groc-PO), un cadre conçu pour résoudre les problèmes de non-véracité tels que les hallucinations visuelles et la fabrication de contenu dans les Modèles de Langage Multimodaux à Grande Échelle (MLLMs). La méthode aborde le défi de l'attribution du crédit où l'optimisation standard des préférences directes (DPO) ne parvient pas à supprimer la propagation des erreurs depuis les étapes précoces d'ancrage en appliquant une supervision uniquement sur la réponse finale.
- Groc-PO introduit une supervision explicite des préférences à travers plusieurs étapes ancrées plutôt que seulement sur la sortie finale.
- Les auteurs ont construit le Grounded Context Preference Dataset (GCPD) avec des échantillons multi-étapes couvrant l'ancrage d'objets, l'ancrage contextuel et le raisonnement ancré.
- Cette approche vise à capturer la formation, l'intégration et l'utilisation du contexte ancré pour atténuer la propagation des erreurs inter-étapes.
Des expériences approfondies démontrent que Groc-PO améliore les performances en matière d'atténuation des hallucinations, de raisonnement fidèle et de fiabilité globale par rapport au DPO standard et à d'autres références.