Los investigadores presentan MedRealMM, un benchmark a gran escala para consultas médicas en línea multimodales construido a partir de interacciones entre pacientes y médicos desidentificadas recopiladas en un hospital internet chino a nivel nacional. El conjunto de datos utiliza un marco de extracción Multimodal Clinical Challenge Point para convertir trayectorias auténticas de consulta en tareas estandarizadas de generación de la siguiente respuesta, acompañadas de rúbricas refinadas por médicos.
- La versión actual contiene 5,620 casos multimodales del mundo real que abarcan 64 departamentos clínicos.
- La evaluación de 19 LLM de propósito general y especializados en medicina revela que la información de las imágenes es crítica para un rendimiento clínico confiable.
- Los modelos de vanguardia actuales siguen por debajo del nivel de respuesta de los médicos en línea, identificándose la evitación de errores sensibles a la seguridad como un cuello de botella central.
MedRealMM proporciona un benchmark realista y reproducible para evaluar el razonamiento médico multimodal en entornos del mundo real, abordando las limitaciones de los benchmarks existentes que dependen de conversaciones sintéticas o métricas de evaluación deficientes.