लेखकों ने LongMedBench का परिचय दिया, जो वास्तविक दुनिया का इलेक्ट्रॉनिक हेल्थ रिकॉर्ड (EHR) बेंचमार्क है जिसे मेडिकल एजेंट्स में लंबी अवधि की नैदानिक निर्णय लेने के मूल्यांकन के लिए डिज़ाइन किया गया है। छोटे संदर्भ ज्ञान प्रश्नोत्तर पर केंद्रित पूर्व मूल्यांकनों के विपरीत, यह बेंचमार्क दोहराए गए विजिट और बदलते उपचारों के माध्यम से सबूत को एग्रीगेट करके चिकित्सा देखभाल की लॉन्गिट्यूडिनल प्रकृति को संबोधित करता है।
- MIMIC-IV एडमिशन रिकॉर्ड और क्लिनिकल नोट्स को टाइम-सीरीज इवेंट स्ट्रीम्स और लॉन्ग-कॉन्टेक्स्ट मेमोरी डेटासेट में इंटीग्रेट करने वाले पाइपलाइन के माध्यम से बनाया गया।
- इसमें 335 रोगी शामिल हैं, जिनके लिए प्रति रोगी औसतन 19.72 इनपेशेंट विजिट और प्रति विजिट 44.91 मेडिकल इवेंट हैं।
- इसमें तीन सूइट्स के साथ एक मूल्यांकन टैक्सोनॉमी है: तथ्य-आधारित QA, तात्कालिक तर्क (temporal reasoning), और लंबी अवधि की निर्णय लेने की प्रक्रिया।
- प्रयोगों से पता चलता है कि हालांकि हाल के LLM स्पष्ट टाइमस्टैम्प को अच्छी तरह संभालते हैं, लेकिन वे अंतर्निहित समय अनुमान (implicit time inference) में संघर्ष करते हैं।
- RAG और एजेंट मेमोरी सिस्टम जानकारी पुनर्प्राप्ति प्रदर्शन को बेहतर बनाते हैं, लेकिन निर्णय लेने का प्रदर्शन मॉडल के तत्काल संदर्भ पर अत्यधिक निर्भर रहता है।
यह बेंचमार्क एजेंट्स द्वारा लंबी अवधि में रोगी की ऐतिहासिक जानकारी को कैसे समझते और उपयोग करते हैं, का अधिक यथार्थवादी मूल्यांकन सक्षम बनाता है।