Para peneliti menganalisis 2.053 percakapan nyata antara pasien dan chatbot untuk menunjukkan bahwa pola komunikasi dan ekspresi emosi bervariasi secara luas di antara pengguna, menantang ketergantungan pada pasien simulasi yang diidealkan dalam pengembangan AI. Mereka mengembangkan simulator yang memodelkan konten klinis, emosi, strategi, dan gaya, yang menghasilkan percakapan yang hampir tidak dapat dibedakan dari yang nyata dalam evaluasi terinspirasi Turing.

  • Tim menggunakan lima persona pasien yang berbeda di 164 kasus yang dinilai oleh klinisi untuk mengevaluasi empat LLM dalam penilaian urgensi.
  • Analisis mengungkapkan bahwa gaya komunikasi secara signifikan mengubah hasil triase.
  • Penilai manusia hanya mencapai akurasi 55% dalam membedakan percakapan simulasi dari yang nyata.

Para penulis berargumen bahwa AI percakasan yang berpusat pada pasien harus mengakomodasi keragaman komunikasi, karena sistem yang dirancang untuk interaksi yang diidealkan berisiko mengalami kinerja buruk dan memperburuk kesenjangan kesehatan dalam penerapan dunia nyata.