연구자들은 작업 지향 대화(TOD)를 제약 충족 문제(CSP)로 모델링함으로써 엔드투엔드로 생성된 TOD의 불일치를 자동으로 감지하는 방법을 제안했습니다. 이 접근 방식은 시스템 응답이 도메인 지식 베이스를 엄격히 준수하지 않을 수 있는 대규모 언어 모델의 환각이라는 중요한 문제를 해결합니다.

  • 파이프라인은 변수가 대화 도메인을 참조하는 대화 세그먼트를 나타내고 제약이 턴 일관성 등의 특성을 포착하는 CSP로서 TOD를 개념화합니다.
  • 대상 대화 내의 변수를 식별하고 비교를 위해 유효한 해를 찾기 위해 CSP 솔버를 적용합니다.
  • 대상 대화를 유효한 변수 할당과 비교하여 불일치를 감지하며, 일관성을 보장하기 위한 최소한의 변경 사항을 제안할 수 있습니다.

이 연구는 이 CSP 기반 접근 방식이 불일치 감지에서 높은 정확도를 보임을 입증하고 발견 사항에 대한 상세한 분석을 제공합니다.