Para peneliti memperkenalkan MedPMC, sebuah kerangka kerja otomatis yang mengubah literatur berlisensi permisif dari PubMed Central menjadi infrastruktur berketepatan tinggi untuk model multimodal medis. Diterapkan pada 6,1 juta artikel, sistem ini mengkurasi 11 juta pasang teks-gambar medis dengan skor evaluasi komponen yang kuat dan relevansi klinis yang tinggi.
- Mengkurasi 11 juta pasang teks-gambar dari 6,1 juta artikel PMC menggunakan penyaringan dan pemisahan otomatis.
- Mencapai relevansi medis sebesar 95,3% dalam tinjauan manual, dibandingkan dengan 19,7% pada dataset sebelumnya.
- Model gaya CLIP yang dilatih dengan MedPMC meningkatkan AUC zero-shot rata-rata sebesar 7,1 poin persentase di seluruh 26 benchmark.
- Meningkatkan pertanyaan-jawaban visual medis sebesar 1,9 dan 16,9 poin persentase ketika digunakan sebagai encoder visi.
- Meningkatkan Recall@5 pengambilan morfologi-ke-gambar sebesar 11,7 poin persentase pada foto dermatologi.
Temuan ini menunjukkan bahwa kurasi literatur berketepatan tinggi memperkuat model fondasi multimodal medis di kedua pengaturan benchmark dan klinis, dengan kerangka kerja, korpus, dan model dirilis secara publik.