연구자들은 PubMed Central의 허가된 문헌을 고품질 의료 멀티모달 모델 인프라로 변환하는 자동화 프레임워크인 MedPMC를 소개했습니다. 610만 편의 논문에 적용된 이 시스템은 강력한 구성 요소 평가 점수와 높은 임상적 관련성을 갖춘 1,100만 개의 의료 이미지-텍스트 쌍을 큐레이션했습니다.

  • 자동 스크리닝 및 분리를 사용하여 610만 편의 PMC 논문에서 1,100만 개의 이미지-텍스트 쌍을 큐레이션했습니다.
  • 수동 검토에서 의학적 관련성이 95.3% 달성되었으며, 이전 데이터셋의 19.7%와 비교됩니다.
  • MedPMC로 훈련된 CLIP 스타일 모델은 26개 벤치마크 전반에서 평균 제로샷 AUC를 7.1퍼센트포인트 개선했습니다.
  • 비전 인코더로 사용 시 의료 시각 질문 답변이 1.9 및 16.9퍼센트포인트 향상되었습니다.
  • 피부과 사진에서 형태학에서 이미지 검색 Recall@5가 11.7퍼센트포인트 개선되었습니다.

이 결과는 고품질 문헌 큐레이션이 벤치마크와 임상 설정 모두에서 의료 멀티모달 파운데이션 모델을 강화함을 보여주며, 프레임워크, 코퍼스 및 모델은 공개적으로 출시되었습니다.