Исследователи представляют MedRealMM, крупномасштабный бенчмарк для многомодальных онлайн медицинских консультаций, созданный на основе обезличенных взаимодействий пациентов и врачей, собранных в национальной китайской интернет-больнице. Набор данных использует фреймворк извлечения Multimodal Clinical Challenge Point для преобразования реальных траекторий консультаций в стандартизированные задачи генерации следующего ответа, сопровождаемые уточнёнными врачами рубриками.
- Текущий релиз содержит 5,620 реальных многомодальных случаев, охватывающих 64 клинических отделения.
- Оценка 19 универсальных и специализированных медицинских LLM показывает, что информация изображений критически важна для надёжной клинической эффективности.
- Текущие передовые модели всё ещё уступают уровню ответов онлайн врачей, при этом выявлено, что избегание ошибок в чувствительных к безопасности аспектах является центральным узким местом.
MedRealMM предоставляет реалистичный и воспроизводимый бенчмарк для оценки многомодального медицинского рассуждения в реальных условиях, устраняя ограничения существующих бенчмарков, которые полагаются на синтетические разговоры или плохие метрики оценки.