Исследователи предлагают метод автоматического обнаружения несоответствий в сквозных сгенерированных диалогах, ориентированных на задачу (TOD), моделируя их как задачу удовлетворения ограничений (CSP). Этот подход решает критическую проблему галлюцинаций в больших языковых моделях, где ответы системы могут не строго соответствовать базам знаний предметной области.
- Конвейер концептуализирует TOD как CSP, где переменные представляют сегменты диалога, ссылающиеся на предметную область разговора, а ограничения захватывают свойства, такие как связность реплик.
- Он идентифицирует переменные в целевом диалоге и применяет решатель CSP для поиска допустимых решений для сравнения.
- Несоответствия обнаруживаются путем сравнения целевого диалога с допустимыми назначениями переменных, что позволяет предлагать минимальные изменения для обеспечения согласованности.
Исследование демонстрирует высокую точность этого подхода на основе CSP в обнаружении несоответствий и предоставляет подробный анализ результатов.