Os pesquisadores analisaram 2.053 conversas reais entre pacientes e chatbots para demonstrar que os padrões de comunicação e a expressão emocional variam amplamente entre os usuários, desafiando a dependência de pacientes simulados idealizados no desenvolvimento de IA. Eles desenvolveram um simulador que modela conteúdo clínico, emoção, estratégia e estilo, o qual produziu conversas quase indistinguíveis das reais em uma avaliação inspirada no teste de Turing.
- A equipe usou cinco personas distintas de pacientes em 164 casos avaliados por clínicos para avaliar quatro LLMs na avaliação de urgência.
- A análise revelou que o estilo de comunicação altera significativamente os resultados da triagem.
- Os avaliadores humanos alcançaram apenas 55% de precisão ao distinguir conversas simuladas das reais.
Os autores argumentam que a IA conversacional centrada no paciente deve acomodar a diversidade comunicativa, pois sistemas projetados para interações idealizadas correm o risco de ter desempenho inferior e amplificar as disparidades em saúde na implantação no mundo real.