研究者は、タスク指向対話（TOD）を制約充足問題（CSP）としてモデル化することで、エンドツーエンドで生成されたTODの不整合を自動的に検出する手法を提案した。このアプローチは、システム応答がドメイン知識ベースに厳密に従わない可能性がある大規模言語モデルのハルシネーションという重要な課題に対処する。

  • パイプラインは、変数が会話ドメインを参照する対話セグメントを表し、制約がターン一貫性などの特性を捉えるCSPとしてTODを概念化する。
  • 対象対話内の変数を特定し、比較のために有効な解を見つけるCSPソルバーを適用する。
  • 対象対話を有効な変数割当と比較することで不整合を検出し、一貫性を確保するための最小限の変更を提案することを可能にする。

本研究は、このCSPベースのアプローチが不整合検出において高い精度を示すことを実証し、知見の詳細な分析を提供する。