연구자들은 전국 중국 인터넷 병원으로부터 수집된 익명화된 환자-의사 상호작용에서 구축된 대규모 멀티모달 온라인 의료 상담용 벤치마크인 MedRealMM을 소개합니다. 이 데이터셋은 멀티모달 임상 도전 과제 포인트 추출 프레임워크를 활용하여 실제 상담 트래젝토리를 표준화된 다음 응답 생성 작업과 의사가 다듬은 평가 기준의 쌍으로 변환합니다.

  • 현재 릴리스에는 64개 임상 과에 걸친 5,620건의 실제 세계 멀티모달 사례가 포함되어 있습니다.
  • 19개의 범용 및 의료 특화 LLM에 대한 평가는 이미지 정보가 신뢰할 수 있는 임상 성능에 중요함을 보여줍니다.
  • 최전선의 모델들은 여전히 온라인 의사 응답 수준보다 낮으며, 안전 민감한 오류 회피가 핵심 병목 현상으로 식별되었습니다.

MedRealMM은 실제 환경에서 멀티모달 의료 추론을 평가하기 위한 현실적이고 재현 가능한 벤치마크를 제공하며, 합성 대화나 부정확한 평가 지표에 의존하는 기존 벤치마크의 한계를 해결합니다.