Para penulis memperkenalkan LongMedBench, sebuah benchmark rekam medis elektronik (EHR) dunia nyata yang dirancang untuk mengevaluasi pengambilan keputusan klinis jangka panjang pada agen medis. Berbeda dengan evaluasi sebelumnya yang berfokus pada QA pengetahuan konteks pendek, benchmark ini menangani sifat longitudinal perawatan medis dengan mengumpulkan bukti lintas kunjungan berulang dan pengobatan yang berkembang.
- Dibangun melalui pipeline yang mengintegrasikan catatan masuk MIMIC-IV dan catatan klinis ke dalam aliran peristiwa deret waktu dan dataset memori konteks panjang.
- Terdiri dari 335 pasien dengan rata-rata 19,72 kunjungan rawat inap per pasien dan 44,91 peristiwa medis per kunjungan.
- Memiliki taksonomi evaluasi dengan tiga suite: QA berbasis fakta, penalaran temporal, dan pengambilan keputusan jangka panjang.
- Eksperimen mengungkapkan bahwa meskipun LLM terbaru menangani timestamp eksplisit dengan baik, mereka kesulitan dengan inferensi waktu implisit.
- Sistem RAG dan memori agen meningkatkan kinerja pengambilan informasi, tetapi kinerja pengambilan keputusan tetap sangat bergantung pada konteks langsung model.
Benchmark ini memungkinkan penilaian yang lebih realistis tentang bagaimana agen memahami dan memanfaatkan informasi pasien historis dalam jangka waktu yang panjang.