研究人员推出了 MedPMC，这是一个自动化框架，可将 PubMed Central 中许可宽松的文献转化为用于医学多模态模型的高保真基础设施。该系统应用于 610 万篇文章，整理了 1100 万对具有强组件评估分数和高临床相关性的医学图像-文本对。

  • 使用自动筛选和分离技术，从 610 万篇 PMC 文章中整理了 1100 万对图像-文本。
  • 在人工审查中实现了 95.3% 的医学相关性，而 prior datasets 仅为 19.7%。
  • 使用 MedPMC 训练的 CLIP-style 模型在 26 个基准测试中将平均 zero-shot AUC 提高了 7.1 个百分点。
  • 当用作 vision encoder 时，医学视觉问答能力分别提升了 1.9 和 16.9 个百分点。
  • 在皮肤科照片上，morphology-to-image retrieval Recall@5 提高了 11.7 个百分点。

研究结果表明，高保真文献整理加强了医学多模态基础模型在基准测试和临床环境中的表现，该框架、语料库和模型已公开发布。