저자들은 의료 에이전트의 장기적인 임상 의사결정을 평가하기 위해 설계된 실제 세계 전자 건강 기록(EHR) 벤치마크인 LongMedBench를 소개합니다. 기존 평가가 단기 문맥 지식 QA에 중점을 둔 것과 달리, 이 벤치마크는 반복적인 방문과 진화하는 치료를 걸쳐 증거를 집계함으로써 의료 관리의 종적 특성을 다룹니다.

  • MIMIC-IV 입원 기록과 임상 노트를 시계열 이벤트 스트림 및 장기 문맥 메모리 데이터셋에 통합하는 파이프라인을 통해 구축되었습니다.
  • 335명의 환자로 구성되었으며, 환자당 평균 입원 방문 횟수는 19.72회이고 방문당 의료 사건 수는 44.91건입니다.
  • 사실 기반 QA, 시간적 추론, 장기 의사결정을 포함하는 세 가지 스위트(suite)로 구성된 평가 분류 체계를 특징으로 합니다.
  • 실험 결과 최근 LLM은 명시적인 타임스탬프는 잘 처리하지만 암묵적인 시간 추론에는 어려움을 겪는 것으로 나타났습니다.
  • RAG 및 에이전트 메모리 시스템은 정보 검색 성능을 향상시키지만, 의사결정 성능은 모델의 즉시 문맥에 크게 의존합니다.

이 벤치마크는 에이전트가 장기적으로 환자 정보를 어떻게 이해하고 활용하는지에 대한 더 현실적인 평가를 가능하게 합니다.