연구자들은 재학습 없이 백엔드 데이터베이스 호출이 실패하거나 작업 지향 대화 에이전트에서 불일치 정보를 반환할 때 견고성을 개선하기 위한 경량의 프롬프팅 기반 복구 접근 방식을 제안했다.

  • 빈 결과와 API 오류를 포함한 4가지 데이터베이스 조건과 여섯 개의 오픈 가중치 모델 패밀리(DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3, Qwen-2.5)에서 평가되었다.
  • MultiWOZ 2.2 및 SGD 데이터셋을 기반으로 한 결함 주입 벤치마크에서 테스트되었다.
  • 단순 에이전트는 MultiWOZ의 실패 턴에서 30.5%, SGD에서 20.9%의 환각을 보였다.
  • 가이드드 리트리 전략은 MultiWOZ에서 환각을 50%(15.3%) 감소시키고, SGD에서는 42%(12.2%) 감소시켰다.
  • 잔류 환각은 여전히 상당했으며(모델 간 6-37%), 도메인 오류가 가장 어려운 사례였다.

이 연구는 구조화된 데이터베이스 상태에 응답을 조건화하는 것이 안전성 지표를 크게 개선함을 보여주지만, 특히 복잡한 검색 시나리오에서는 잔류 오류가 지속됨을 보여준다.