В статье вводится понятие «обманчивого заземления» (DG), режима отказа в клинической генерации с дополнением извлечения, при котором модели представляют доказательства из реальных документов, но ошибочно приписывают их другой сущности, обходя стандартные проверки на достоверность и галлюцинации.

  • Бенчмарк по 13 моделям показывает уровни DG от 8 до 87% в условиях состязательных атак, при этом медицинские модели, прошедшие тонкую настройку, достигают уровня до 86,7%.
  • Исследования абляции показывают, что удаление доказательств, специфичных для сущности, устраняет ошибки атрибуции, смещая характер ошибок в сторону конфабуляции.
  • Измерения на производстве для пар «лекарство-болезнь» (740 пар) выявили общий уровень DG 7,8%, который возрастает до 13,6% для недавно одобренных препаратов.
  • Проверка атрибуции сущностей обнаруживает DG с точностью 97,0% и полнотой 98,7%, однако ни одна существующая инфраструктура не реализует эту проверку.

Авторы утверждают, что текущие рамки оценки недостаточны, поскольку они не проверяют, относится ли процитированное доказательство к запрошенной сущности, что позволяет обманчивому заземлению сохраняться в развернутых системах.