Исследователи представляют MedPMC, автоматизированную систему, которая преобразует литературу с разрешительной лицензией из PubMed Central в высокоточную инфраструктуру для медицинских мультимодальных моделей. Примененная к 6,1 миллиона статей, система курирует 11 миллионов пар «медицинское изображение-текст» с сильными показателями оценки компонентов и высокой клинической значимостью.
- Курировано 11 миллионов пар изображений и текста из 6,1 миллиона статей PMC с использованием автоматического отбора и разделения.
- Достигнуто 95,3% медицинской релевантности при ручной проверке по сравнению с 19,7% в предыдущих наборах данных.
- Модель типа CLIP, обученная на MedPMC, улучшила средний нулевой AUC на 7,1 процентных пункта по 26 бенчмаркам.
- Улучшено медицинское визуальное вопросно-ответное взаимодействие на 1,9 и 16,9 процентных пунктов при использовании в качестве кодировщика изображений.
- Улучшен Recall@5 для извлечения морфологии по изображениям на 11,7 процентных пункта на дерматологических фотографиях.
Результаты демонстрируют, что высокоточная курировка литературы укрепляет медицинские мультимодальные фундаментальные модели как в бенчмарках, так и в клинических условиях, при этом система, корпус и модели опубликованы публично.