研究者らは、PubMed Centralの許可された文献を高忠実度の医療マルチモーダルモデル用インフラストラクチャに変換する自動化フレームワークであるMedPMCを発表した。610万本の論文に適用し、このシステムは強い構成要素評価スコアと高い臨床的関連性を持つ1100万組の医療画像テキストペアをキュレーションした。

  • 自動スクリーニングと分離を用いて610万本のPMC論文から1100万組の画像テキストペアをキュレーションした。
  • 手動レビューで医学的関連性が95.3%達成され、以前のデータセットの19.7%と比較して大幅に向上した。
  • MedPMCで訓練されたCLIPスタイルのモデルは、26のベンチマーク全体で平均ゼロショットAUCを7.1パーセントポイント改善した。
  • ビジョンエンコーダとして使用した場合、医療視覚質問応答が1.9および16.9パーセントポイント向上した。
  • 皮膚科写真において、形態学から画像への検索Recall@5が11.7パーセントポイント改善した。

これらの知見は、高忠実度の文献キュレーションがベンチマークと臨床の両方の設定において医療マルチモーダル基盤モデルを強化することを示しており、フレームワーク、コーパス、およびモデルは公開されている。