Pesquisadores introduzem o ThReadMed-QA, um conjunto de dados de diálogo médico multironda com 2.437 threads de conversa derivados do AskDocs, para avaliar se grandes modelos de linguagem podem detectar e corrigir confiavelmente equívocos dos pacientes ao longo do tempo. O estudo destaca que as estruturas de avaliação atuais falham em capturar como crenças falsas persistem ou evoluem através de múltiplas rodadas de interação.
- ThReadMed-QA compreende 8.204 pares de pergunta-resposta projetados para avaliação sistemática da correção de equívocos em contextos multironda.
- Cinco LLMs foram avaliados usando uma estrutura LLM-as-a-Judge baseada em rubricas, pontuando sua capacidade de identificar e corrigir crenças falsas.
- GPT-5 e Claude-Haiku corrigiram equívocos em cerca de 85% nas perguntas iniciais, mas caíram para aproximadamente 50% dentro de duas follow-ups.
- Uma análise oracular que substitui as saídas anteriores do modelo por respostas de médicos mostrou que a propagação de erros impulsiona grande parte da degradação de desempenho.
As descobertas indicam que mesmo modelos de fronteira degradam substancialmente ao longo das rodadas subsequentes, levando a orientações inconsistentes e potencialmente inseguras em configurações voltadas para pacientes.