研究人员推出了 MedRealMM，这是一个大规模的多模态在线医疗咨询基准，由从全国范围内中国互联网医院收集的匿名医患交互数据构建而成。该数据集利用 Multimodal Clinical Challenge Point 提取框架，将真实的咨询轨迹转换为标准化的下一轮回复生成任务，并辅以医生优化的评分标准。

  • 当前版本包含 5,620 个真实世界的多模态案例，涵盖 64 个临床科室。
  • 对 19 个通用和医疗专用 LLM 的评估表明，图像信息对于可靠的临床性能至关重要。
  • 当前的前沿模型仍低于在线医生的回复水平，识别出安全敏感的错误规避是核心瓶颈。

MedRealMM 提供了一个真实且可复现的基准，用于评估现实环境中的多模态医学推理，解决了现有基准依赖合成对话或评估指标不佳的局限性。