Pesquisadores apresentam o MedRealMM, um benchmark em larga escala para consultas médicas online multimodais construído a partir de interações entre paciente e médico desidentificadas coletadas em um hospital internet chinês nacional. O conjunto de dados utiliza um framework de extração Multimodal Clinical Challenge Point para converter trajetórias autênticas de consulta em tarefas padronizadas de geração da próxima resposta, acompanhadas de rubricas refinadas por médicos.
- A versão atual contém 5,620 casos multimodais do mundo real abrangendo 64 departamentos clínicos.
- A avaliação de 19 LLMs de propósito geral e especializados em medicina revela que a informação das imagens é crítica para um desempenho clínico confiável.
- Os modelos de fronteira atuais ainda estão abaixo do nível de resposta dos médicos online, com a evitação de erros sensíveis à segurança identificada como um gargalo central.
O MedRealMM fornece um benchmark realista e reproduzível para avaliar o raciocínio médico multimodal em configurações do mundo real, abordando as limitações dos benchmarks existentes que dependem de conversas sintéticas ou métricas de avaliação deficientes.