본 기사는 "기만적 그라운딩"(DG)이라는 개념을 소개합니다. 이는 실제 문서의 증거를 제시하지만 잘못된 엔티티에 귀속시켜 표준적인 충실도 및 환각 검사를 우회하는 임상 검색 증강 생성(RAG)의 실패 모드입니다.
- 13개 모델에 대한 벤치마크 결과, 적대적 조건 하에서 DG 발생률이 8~87%로 나타났으며, 의료용 파인튜닝 모델은 최대 86.7%에 도달했습니다.
- 아블레이션 연구는 엔티티 특이적 증거를 제거하면 귀속 실패가 사라지고 오류가 허구(confabulation)로 전환됨을 보여줍니다.
- 740개 약물-질병 쌍에 대한 프로덕션 측정 결과 전체 DG 발생률은 7.8%였으며, 최근 승인된 약물의 경우 13.6%로 증가했습니다.
- 엔티티 귀속 검증은 97.0%의 정밀도와 98.7%의 재현율로 DG를 감지하지만, 이 검증을 구현한 기존 프레임워크는 없습니다.
저자들은 현재 평가 프레임워크가 인용된 증거가 쿼리된 엔티티에 적용되는지 여부를 검증하지 않기 때문에 불충분하며, 이로 인해 배포된 시스템에서 기만적 그라운딩이 지속된다고 주장합니다.