Исследователи предлагают Grounded Context Preference Optimization (Groc-PO), фреймворк, разработанный для решения проблем недостоверности, таких как визуальные галлюцинации и фабрикация контента в мультимодальных больших языковых моделях (MLLMs). Метод решает проблему распределения кредита, где стандартная Direct Preference Optimization (DPO) не подавляет распространение ошибок от ранних этапов заземления, применяя надзор только к финальному ответу.

  • Groc-PO вводит явное предпочтительное обучение на нескольких этапах заземления, а не только на финальном выходе.
  • Авторы создают Grounded Context Preference Dataset (GCPD) с многоэтапными выборками, охватывающими Object Grounding, Contextual Grounding и Grounded Reasoning.
  • Этот подход направлен на фиксацию формирования, интеграции и использования заземлённого контекста для смягчения распространения ошибок между этапами.

Многочисленные эксперименты демонстрируют, что Groc-PO улучшает показатели в смягчении галлюцинаций, достоверном рассуждении и общей надёжности по сравнению со стандартной DPO и другими базовыми моделями.