Los investigadores proponen un método para detectar automáticamente inconsistencias en Diálogos Orientados a Tareas (TOD) generados de extremo a extremo, modelándolos como un Problema de Satisfacción de Restricciones (CSP). Este enfoque aborda el problema crítico de las alucinaciones en Modelos de Lenguaje Grandes, donde las respuestas del sistema pueden no adherirse estrictamente a las bases de conocimiento del dominio.
- La tubería conceptualiza los TOD como un CSP donde las variables representan segmentos de diálogo que hacen referencia al dominio conversacional y las restricciones capturan propiedades como la coherencia del turno.
- Identifica variables en un diálogo objetivo y aplica un solucionador CSP para encontrar soluciones válidas para comparar.
- Las inconsistencias se detectan comparando el diálogo objetivo con asignaciones de variables válidas, lo que permite sugerir cambios mínimos para garantizar la consistencia.
El estudio demuestra la alta precisión de este enfoque basado en CSP para detectar inconsistencias y proporciona un análisis detallado de los hallazgos.