Para peneliti memperkenalkan MedRealMM, sebuah benchmark skala besar untuk konsultasi medis online multimodal yang dibangun dari interaksi pasien-dokter yang dianonimkan yang dikumpulkan dari rumah sakit internet Tiongkok di seluruh negeri. Dataset ini memanfaatkan kerangka kerja ekstraksi poin tantangan klinis multimodal untuk mengubah trajektori konsultasi autentik menjadi tugas generasi respons berikutnya yang distandarisasi, dipasangkan dengan rubrik yang disempurnakan oleh dokter.
- Rilis saat ini berisi 5.620 kasus multimodal dunia nyata yang mencakup 64 departemen klinis.
- Evaluasi terhadap 19 LLM tujuan umum dan khusus medis mengungkapkan bahwa informasi gambar sangat penting untuk kinerja klinis yang andal.
- Model mutakhir saat ini masih berada di bawah tingkat respons dokter online, dengan penghindaran kesalahan sensitif keamanan diidentifikasi sebagai hambatan utama.
MedRealMM menyediakan benchmark yang realistis dan dapat direproduksi untuk mengevaluasi penalaran medis multimodal dalam pengaturan dunia nyata, mengatasi keterbatasan benchmark yang ada yang mengandalkan percakapan sintetis atau metrik evaluasi yang buruk.