Les chercheurs présentent ThReadMed-QA, un jeu de données de dialogues médicaux multi-tours composé de 2 437 fils de conversation extraits d'AskDocs, afin d'évaluer si les grands modèles de langage (LLM) peuvent détecter et corriger de manière fiable les idées fausses des patients au fil du temps. L'étude met en évidence que les cadres d'évaluation actuels ne parviennent pas à capturer la persistance ou l'évolution des croyances erronées sur plusieurs tours d'interaction.
- ThReadMed-QA comprend 8 204 paires question-réponse conçues pour l'évaluation systématique de la correction des idées fausses dans des contextes multi-tours.
- Cinq LLM ont été évalués à l'aide d'un cadre LLM-as-a-Judge basé sur une grille d'évaluation, mesurant leur capacité à identifier et corriger les croyances erronées.
- GPT-5 et Claude-Haiku ont corrigé les idées fausses à environ 85 % sur les questions initiales, mais ce taux est tombé à environ 50 % après deux questions de suivi.
- Une analyse oracle remplaçant les sorties précédentes du modèle par des réponses de médecins a montré que la propagation des erreurs est responsable d'une grande partie de la dégradation des performances.
Ces résultats indiquent que même les modèles de pointe se dégradent considérablement au fil des tours suivants, conduisant à des conseils incohérents et potentiellement dangereux dans les contextes destinés aux patients.