يقدم المؤلفون LongMedBench، وهو معيار لسجلات الصحة الإلكترونية (EHR) من العالم الحقيقي مصمم لتقييم اتخاذ القرارات السريرية طويلة المدى في الوكلاء الطبيين. وعلى عكس التقييمات السابقة التي تركز على أسئلة المعرفة بالسياق القصير، يتناول هذا المعيار الطبيعة الطولية للرعاية الطبية من خلال تجميع الأدلة عبر زيارات متكررة وعلاجات متطورة.
- تم بناؤه عبر خط أنابيب يدمج سجلات الدخول MIMIC-IV والملاحظات السريرية في تدفقات أحداث تسلسلية ومجموعات بيانات ذاكرة طويلة السياق.
- يتكون من 335 مريضًا بمتوسط 19.72 زيارة للمرضى الداخليين لكل مريض و44.91 حدث طبي لكل زيارة.
- يتميز بتصنيف تقييمي بثلاث مجموعات: أسئلة المعرفة بالحقائق، والاستدلال الزمني، واتخاذ القرار طويل المدى.
- تكشف التجارب أنه بينما تتعامل النماذج اللغوية الكبيرة (LLMs) الحديثة جيدًا مع الطوابع الزمنية الصريحة، فإنها تواجه صعوبة في الاستدلال الضمني للوقت.
- تحسن أنظمة RAG وذاكرة الوكيل من أداء استرجاع المعلومات، لكن أداء اتخاذ القرار يظل يعتمد بشكل كبير على السياق الفوري للنموذج.
يتيح هذا المعيار تقييمًا أكثر واقعية لكيفية فهم الوكلاء للمعلومات التاريخية للمرضى والاستفادة منها عبر أفق زمني طويل.