Les chercheurs présentent MedRealMM, un benchmark à grande échelle pour la consultation médicale en ligne multimodale, construit à partir d'interactions patient-médecin désidentifiées collectées dans un hôpital internet chinois à l'échelle nationale. Le jeu de données utilise un cadre d'extraction des points de défi clinique multimodal pour convertir les trajectoires de consultation authentiques en tâches de génération de réponse suivante standardisées, associées à des grilles d'évaluation affinées par les médecins.
- La version actuelle contient 5 620 cas multimodaux du monde réel couvrant 64 départements cliniques.
- L'évaluation de 19 LLM généraux et spécialisés en médecine révèle que l'information visuelle est cruciale pour des performances cliniques fiables.
- Les modèles de pointe actuels restent en dessous du niveau de réponse des médecins en ligne, avec l'évitement des erreurs sensibles à la sécurité identifié comme un goulot d'étranglement central.
MedRealMM fournit un benchmark réaliste et reproductible pour évaluer le raisonnement médical multimodal dans des contextes réels, comblant les limites des benchmarks existants qui reposent sur des conversations synthétiques ou de mauvaises métriques d'évaluation.