Les chercheurs présentent MedPMC, un cadre automatisé qui transforme la littérature sous licence permissive de PubMed Central en une infrastructure de haute fidélité pour les modèles multimodaux médicaux. Appliqué à 6,1 millions d'articles, le système a curaté 11 millions de paires image-texte médicales avec des scores d'évaluation des composants forts et une forte pertinence clinique.

  • Curaté 11 millions de paires image-texte à partir de 6,1 millions d'articles PMC en utilisant un dépistage et une séparation automatisés.
  • A atteint 95,3 % de pertinence médicale lors d'une revue manuelle, par rapport à 19,7 % dans les ensembles de données antérieurs.
  • Un modèle de style CLIP entraîné sur MedPMC a amélioré l'AUC moyen zéro-shot de 7,1 points de pourcentage sur 26 benchmarks.
  • A amélioré la réponse aux questions visuelles médicales de 1,9 et 16,9 points de pourcentage lorsqu'il est utilisé comme encodeur de vision.
  • A amélioré le Recall@5 de la récupération morphologie-image de 11,7 points de pourcentage sur les photographies dermatologiques.

Les résultats démontrent que la curatation de littérature de haute fidélité renforce les modèles de fondation multimodaux médicaux à la fois dans les paramètres de benchmark et cliniques, le cadre, le corpus et les modèles étant publiquement mis à disposition.