Para peneliti mengusulkan metode untuk secara otomatis mendeteksi inkonsistensi dalam Dialog Berorientasi Tugas (TOD) yang dihasilkan end-to-end dengan memodelkannya sebagai Masalah Pemenuhan Kendala (CSP). Pendekatan ini mengatasi masalah kritis halusinasi pada Model Bahasa Besar, di mana respons sistem mungkin tidak mengikuti basis pengetahuan domain secara ketat.

  • Pipeline mengkonseptualisasikan TOD sebagai CSP di mana variabel mewakili segmen dialog yang merujuk ke domain percakapan dan kendala menangkap properti seperti koherensi giliran.
  • Ini mengidentifikasi variabel dalam dialog target dan menerapkan pemecah CSP untuk menemukan solusi valid untuk dibandingkan.
  • Inkonsistensi dideteksi dengan membandingkan dialog target dengan penugasan variabel yang valid, memungkinkan saran perubahan minimal untuk memastikan konsistensi.

Studi ini menunjukkan akurasi tinggi dari pendekatan berbasis CSP ini dalam mendeteksi inkonsistensi dan memberikan analisis rinci atas temuan tersebut.