Une étude analysant 2 053 conversations réelles entre patients et chatbots révèle que les schémas de communication et l'expression émotionnelle varient considérablement d'un utilisateur à l'autre, remettant en cause la dépendance aux patients simulés idéalisés dans le développement de l'IA. Les chercheurs ont développé un simulateur modélisant le contenu clinique, l'émotion, la stratégie et le style, qui a produit des conversations presque indiscernables des vraies dans une évaluation inspirée du test de Turing.
- L'analyse de 2 053 conversations réelles a montré une variation significative des schémas de communication et de l'expression émotionnelle entre les utilisateurs.
- Un nouveau simulateur de patient modélise séparément le contenu clinique, l'état émotionnel, la stratégie conversationnelle et le style de communication.
- Dans une évaluation inspirée du test de Turing avec 15 évaluateurs humains, les conversations simulées ont atteint une précision de classification de seulement 55 %.
- Le test de quatre LLM sur 1 164 cas évalués par des cliniciens utilisant cinq personnalités de patient distinctes a révélé que le style de communication modifie significativement les résultats de triage.
Les auteurs soutiennent que l'IA conversationnelle centrée sur le patient doit tenir compte de la diversité des communications pour éviter de sous-performer et d'amplifier les disparités en santé lors du déploiement dans le monde réel.