В статье вводится понятие «обманчивого заземления» (DG), режима отказа в клинической генерации с дополнением извлечением, при котором утверждения модели фактически основаны на извлечённых документах, но ошибочно атрибутируются неверной сущности. Эта проблема остаётся незамеченной для стандартных проверок на верность, галлюцинации и цитирование, поскольку каждое утверждение берётся из реального документа.

  • Контролируемый факторный бенчмарк по 13 моделям показал уровни DG от 8 до 87% в пиковых условиях состязательности, при этом медицинские модели с тонкой настройкой достигали 86,7%.
  • Выявлено, что специализация в предметной области усиливает этот отказ, а не смягчает его.
  • Исследования абляции показали, что удаление клинических доказательств, специфичных для сущности, полностью устраняет ошибку атрибуции сущности, смещая отказы в сторону конфабуляции.
  • Измерения в производстве по 740 парам «лекарство-болезнь» в развёрнутой RAG-системе выявили общий уровень DG 7,8%, который возрастает до 13,6% для недавно одобренных препаратов.
  • Проверка атрибуции сущностей обнаруживает DG с точностью 97,0% и полнотой 98,7%, однако ни одна существующая платформа в настоящее время не реализует её.

Авторы считают это важным, потому что текущие платформы оценки не способны выявлять ошибки атрибуции сущностей, которые распространены в специализированных моделях и производственных системах.