Pesquisadores propõem um método para detectar automaticamente inconsistências em Diálogos Orientados a Tarefas (TODs) gerados de ponta a ponta, modelando-os como um Problema de Satisfação de Restrições (CSP). Esta abordagem aborda o problema crítico de alucinações em Grandes Modelos de Linguagem, onde as respostas do sistema podem não aderir estritamente às bases de conhecimento do domínio.
- O pipeline conceptualiza TODs como um CSP onde variáveis representam segmentos de diálogo referenciando o domínio conversacional e restrições capturam propriedades como coerência do turno.
- Ele identifica variáveis em um diálogo alvo e aplica um solucionador CSP para encontrar soluções válidas para comparação.
- Inconsistências são detectadas comparando o diálogo alvo com atribuições de variáveis válidas, permitindo sugestões de mudanças mínimas para garantir consistência.
O estudo demonstra a alta precisão desta abordagem baseada em CSP na detecção de inconsistências e fornece uma análise detalhada dos achados.