يقدم الباحثون MedRealMM، وهو معيار واسع النطاق للاستشارات الطبية عبر الإنترنت متعددة الوسائط، مُبنى من تفاعلات المريض-الطبيب المجهولة الهوية التي تم جمعها من مستشفى صيني على الإنترنت على مستوى البلاد. يستخدم مجموعة البيانات إطار استخراج نقاط التحدي السريري متعدد الوسائط لتحويل مسارات الاستشارة الحقيقية إلى مهام توليد الرد التالي المعيارية، مقترنة بمعايير مراجعة قام أطباء بتدقيقها.
- يحتوي الإصدار الحالي على 5620 حالة متعددة الوسائط من العالم الحقيقي تغطي 64 قسمًا سريريًا.
- يكشف تقييم 19 نموذج لغوي كبير (LLM) للأغراض العامة والمتخصص في الطب عن أن معلومات الصور حاسمة لأداء سريري موثوق.
- لا تزال النماذج المتطورة الحالية دون مستوى ردود الأطباء عبر الإنترنت، حيث تم تحديد تجنب الأخطاء الحساسة للسلامة كعنق زجاجة مركزي.
يوفر MedRealMM معيارًا واقعيًا وقابلًا للتكرار لتقييم الاستدلال الطبي متعدد الوسائط في إعدادات العالم الحقيقي، مما يعالج قيود المعايير الحالية التي تعتمد على محادثات اصطناعية أو مقاييس تقييم رديئة.