Les chercheurs ont analysé 2 053 conversations réelles entre patients et chatbots pour démontrer que les schémas de communication et l'expression émotionnelle varient considérablement parmi les utilisateurs, remettant en cause la dépendance aux patients simulés idéalisés dans le développement de l'IA. Ils ont développé un simulateur modélisant le contenu clinique, l'émotion, la stratégie et le style, qui a produit des conversations presque indiscernables des vraies lors d'une évaluation inspirée du test de Turing.
- L'équipe a utilisé cinq personnalités de patients distinctes sur 164 cas évalués par des cliniciens pour évaluer quatre LLM dans l'évaluation de l'urgence.
- L'analyse a révélé que le style de communication modifie significativement les résultats du triage.
- Les évaluateurs humains n'ont atteint qu'une précision de 55 % pour distinguer les conversations simulées des vraies.
Les auteurs soutiennent que l'IA conversationnelle centrée sur le patient doit tenir compte de la diversité de la communication, car les systèmes conçus pour des interactions idéalisées risquent de sous-performer et d'amplifier les disparités en matière de santé lors du déploiement dans le monde réel.