研究者らは、全国の中国のインターネット病院から収集した匿名化された患者-医師の相互作用から構築された、大規模なマルチモーダルオンライン医療相談用ベンチマークである MedRealMM を紹介する。このデータセットは、マルチモーダル臨床チャレンジポイント抽出フレームワークを利用し、実際の相談履歴を標準化された次の応答生成タスクと医師が精査した評価基準のペアに変換する。

  • 現在のリリースには、64の臨床診療科にわたる5,620件のリアルワールドマルチモーダル事例が含まれている。
  • 19の汎用および医療特化型LLMの評価により、画像情報が信頼性の高い臨床パフォーマンスにとって重要であることが示された。
  • 最先端モデルは依然としてオンライン医師の応答レベルを下回っており、安全性に敏感なエラー回避が中心的なボトルネックとして特定されている。

MedRealMM は、現実世界の設定におけるマルチモーダル医療推論を評価するための、リアルで再現可能なベンチマークを提供し、合成会話や不十分な評価指標に依存する既存のベンチマークの限界に対処する。