作者介绍了 LongMedBench，这是一个真实的电子健康记录 (EHR) 基准，旨在评估医疗代理在长期范围内的临床决策能力。与之前侧重于短上下文知识问答的评估不同，该基准通过整合重复就诊和不断变化的治疗过程中的证据，解决了医疗护理的纵向性质。

  • 通过一个管道构建，将 MIMIC-IV 入院记录和临床笔记整合为时间序列事件流和长上下文记忆数据集。
  • 包含 335 名患者，平均每位患者有 19.72 次住院就诊，每次就诊有 44.91 个医疗事件。
  • 具有包含三个套件的评价分类法：基于事实的问答、时间推理和长期决策。
  • 实验表明，尽管最近的 LLM 能很好地处理显式时间戳，但在隐式时间推断方面存在困难。
  • RAG 和代理记忆系统提高了信息检索性能，但决策性能仍然高度依赖于模型的即时上下文。

该基准使得对代理在较长周期内理解和利用患者历史信息的能力进行更现实的评估成为可能。