Sebuah studi yang menganalisis 2.053 percakapan nyata antara pasien dan chatbot mengungkapkan bahwa pola komunikasi dan ekspresi emosional bervariasi secara luas di antara pengguna, menantang ketergantungan pada pasien simulasi yang diidealkan dalam pengembangan AI. Para peneliti mengembangkan simulator yang memodelkan konten klinis, emosi, strategi, dan gaya, yang menghasilkan percakapan yang hampir tidak dapat dibedakan dari yang nyata dalam evaluasi terinspirasi Turing.

  • Analisis terhadap 2.053 percakapan nyata menunjukkan variasi signifikan dalam pola komunikasi dan ekspresi emosional di antara pengguna.
  • Simulator pasien baru memodelkan konten klinis, keadaan emosi, strategi percakapan, dan gaya komunikasi secara terpisah.
  • Dalam evaluasi terinspirasi Turing dengan 15 penilai manusia, percakapan simulasi mencapai akurasi klasifikasi hanya 55%.
  • Pengujian empat LLM pada 1.164 kasus yang dinilai oleh klinisi menggunakan lima persona pasien yang berbeda menemukan bahwa gaya komunikasi secara signifikan mengubah hasil triase.

Para penulis berargumen bahwa AI percakasan yang berpusat pada pasien harus mengakomodasi keragaman komunikasi untuk menghindari kinerja yang buruk dan memperlebar kesenjangan kesehatan saat diterapkan di dunia nyata.