Para peneliti memperkenalkan ThReadMed-QA, sebuah dataset dialog medis multi-giliran yang terdiri dari 2.437 utas percakapan yang berasal dari AskDocs, untuk mengevaluasi apakah model bahasa besar (LLM) dapat secara andal mendeteksi dan mengoreksi miskonsepsi pasien seiring waktu. Studi ini menyoroti bahwa kerangka evaluasi saat ini gagal menangkap bagaimana keyakinan palsu bertahan atau berkembang di seluruh giliran interaksi.

  • ThReadMed-QA terdiri dari 8.204 pasangan pertanyaan-jawaban yang dirancang untuk evaluasi sistematis koreksi miskonsepsi dalam konteks multi-giliran.
  • Lima LLM dievaluasi menggunakan kerangka LLM-as-a-Judge berbasis rubrik yang menilai kemampuan mereka dalam mengidentifikasi dan mengoreksi keyakinan palsu.
  • GPT-5 dan Claude-Haiku mengoreksi miskonsepsi sekitar 85% pada pertanyaan awal, tetapi turun menjadi sekitar 50% dalam dua pertanyaan tindak lanjut.
  • Analisis oracle yang mengganti output model sebelumnya dengan respons dokter menunjukkan bahwa propagasi kesalahan mendorong sebagian besar degradasi kinerja.

Temuan ini menunjukkan bahwa bahkan model terdepan mengalami degradasi substansial di giliran-giliran berikutnya, yang mengarah pada panduan yang tidak konsisten dan berpotensi berbahaya dalam pengaturan yang berhadapan dengan pasien.