본 기사는 "기만적 그라운딩"(DG)이라는 개념을 소개합니다. 이는 임상 검색 증강 생성(RAG)에서 모델의 주장은 검색된 문서에 사실적으로 기반하고 있지만 잘못된 엔티티로 귀속되는 실패 모드입니다. 모든 주장이 실제 문서에서 유래했기 때문에 이 문제는 표준적인 충실도, 환각 및 인용 검사에서는 보이지 않습니다.

  • 13개 모델에 걸친 통제된 요인 분석 벤치마크 결과, 최대 적대적 조건에서 DG율이 8~87%로 나타났으며, 의료 파인튜닝 모델은 최대 86.7%에 도달했습니다.
  • 도메인 특화화가 이 실패를 완화하는 대신 증폭시키는 것으로 발견되었습니다.
  • 아블레이션 연구는 엔티티별 임상 증거를 제거하면 엔티티 귀속 실패가 완전히 사라지고 실패가 허구(confabulation)로 전환됨을 확인했습니다.
  • 배포된 RAG 시스템의 740개 약물-질병 쌍에 대한 프로덕션 측정 결과, 전체 DG율은 7.8%였으며 최근 승인된 약물의 경우 13.6%로 증가했습니다.
  • 엔티티 귀속 검증은 97.0%의 정밀도와 98.7%의 재현율로 DG를 감지하지만, 이를 구현한 기존 프레임워크는 현재 없습니다.

저자들은 이것이 중요한 이유를 현재의 평가 프레임워크가 엔티티 귀속 오류를 감지하지 못하며, 이는 전문 모델과 프로덕션 시스템에서 널리 퍼져 있기 때문이라고 봅니다.