Les chercheurs proposent une méthode pour détecter automatiquement les incohérences dans les Dialogues Orientés Tâche (TOD) générés de bout en bout en les modélisant comme un Problème de Satisfaction de Contraintes (CSP). Cette approche traite le problème critique des hallucinations dans les grands modèles de langage, où les réponses du système peuvent ne pas respecter strictement les bases de connaissances du domaine.
- Le pipeline conceptualise les TOD comme un CSP où les variables représentent des segments de dialogue faisant référence au domaine conversationnel et les contraintes capturent des propriétés telles que la cohérence des tours.
- Il identifie les variables dans un dialogue cible et applique un solveur CSP pour trouver des solutions valides à comparer.
- Les incohérences sont détectées en comparant le dialogue cible avec des affectations de variables valides, permettant de suggérer des modifications minimales pour assurer la cohérence.
L'étude démontre la haute précision de cette approche basée sur le CSP dans la détection des incohérences et fournit une analyse détaillée des résultats.