Um estudo que analisou 2.053 conversas reais entre pacientes e chatbots revela que os padrões de comunicação e a expressão emocional variam amplamente entre os usuários, desafiando a dependência de pacientes simulados idealizados no desenvolvimento de IA. Os pesquisadores desenvolveram um simulador que modela conteúdo clínico, emoção, estratégia e estilo, o qual produziu conversas quase indistinguíveis das reais em uma avaliação inspirada no teste de Turing.
- A análise de 2.053 conversas reais mostrou variação significativa nos padrões de comunicação e na expressão emocional entre os usuários.
- Um novo simulador de pacientes modela separadamente o conteúdo clínico, o estado emocional, a estratégia conversacional e o estilo de comunicação.
- Em uma avaliação inspirada no teste de Turing com 15 avaliadores humanos, as conversas simuladas alcançaram uma precisão de classificação de apenas 55%.
- Ao testar quatro LLMs em 1.164 casos avaliados por clínicos usando cinco personas distintas de pacientes, descobriu-se que o estilo de comunicação altera significativamente os resultados da triagem.
Os autores argumentam que a IA conversacional centrada no paciente deve acomodar a diversidade de comunicação para evitar desempenho insuficiente e amplificar disparidades em saúde ao ser implantada no mundo real.