शोधकर्ताओं ने MedRealMM पेश किया, जो एक बहुमोडल ऑनलाइन चिकित्सा परामर्श के लिए एक बड़े पैमाने का बेंचमार्क है, जो चीनी इंटरनेट अस्पताल से एकत्र किए गए डिजिटल-अज्ञात रोगी-डॉक्टर इंटरैक्शन से बनाया गया है। डेटासेट Multimodal Clinical Challenge Point एक्सट्रैक्शन फ्रेमवर्क का उपयोग करके वास्तविक परामर्श ट्रैजेक्ट्री को मानकीकृत अगले-प्रतिक्रिया जनरेट करने की कार्यों में परिवर्तित करता है, जो चिकित्सक द्वारा परिष्कृत रूब्रिक्स के साथ जुड़े हुए हैं।
- वर्तमान रिलीज़ में 64 क्लिनिकल विभागों को कवर करते हुए 5,620 वास्तविक-दुनिया के बहुमोडल मामले शामिल हैं।
- 19 सामान्य-उद्देश्य और चिकित्सा-विशेषज्ञ LLMs का मूल्यांकन दर्शाता है कि छवि जानकारी विश्वसनीय क्लिनिकल प्रदर्शन के लिए महत्वपूर्ण है।
- वर्तमान फ्रंटियर मॉडल ऑनलाइन चिकित्सक प्रतिक्रिया स्तरों से नीचे हैं, सुरक्षा-संवेदनशील त्रुटि एवॉइडेंस को एक केंद्रीय बॉटलनेक के रूप में पहचाना गया है।
MedRealMM वास्तविक-दुनिया की सेटिंग्स में बहुमोडल चिकित्सा तर्क का मूल्यांकन करने के लिए एक यथार्थवादी और पुनरुत्पादनीय बेंचमार्क प्रदान करता है, जो मौजूदा बेंचमार्क्स की सीमाओं को संबोधित करता है जो सिंथेटिक संवाद या खराब मूल्यांकन मेट्रिक्स पर निर्भर करते हैं।