يقدم الباحثون MedPMC، وهو إطار عمل آلي يحول الأدب المرخص بشكل مرن من PubMed Central إلى بنية تحتية عالية الدقة لنماذج الوسائط المتعددة الطبية. تم تطبيقه على 6.1 مليون مقال، حيث قام النظام بتحرير 11 مليون زوج من الصور والنصوص الطبية مع درجات تقييم مكونات قوية وملاءمة سريرية عالية.
- حرر 11 مليون زوج من الصور والنصوص من 6.1 مليون مقال في PMC باستخدام الفحص والفصل الآليين.
- حقق ملاءمة طبية بنسبة 95.3% في المراجعة اليدوية، مقارنة بـ 19.7% في المجموعات البيانات السابقة.
- حسّن نموذج على طراز CLIP مدرب بواسطة MedPMC متوسط AUC الصفرية بنقطة مئوية واحدة قدرها 7.1 نقطة عبر 26 معيارًا.
- حسن الإجابة على الأسئلة البصرية الطبية بنسبة 1.9 و 16.9 نقطة مئوية عند استخدامه كمُشفّر للرؤية.
- حسّن Recall@5 للاسترجاع من التشريح إلى الصورة بنسبة 11.7 نقطة مئوية على الصور الجلدية.
توضح النتائج أن تحرير الأدب عالي الدقة يعزز نماذج الأساس متعددة الوسائط الطبية في كل من إعدادات المعايير والإعدادات السريرية، مع إصدار الإطار والمجموعة والنماذج للجمهور.