Авторы представляют LongMedBench, реальный бенчмарк электронных медицинских карт (EHR), разработанный для оценки способности медицинских агентов принимать клинические решения в долгосрочной перспективе. В отличие от предыдущих оценок, ориентированных на краткосрочные вопросы по знаниям с коротким контекстом, этот бенчмарк учитывает лонгитюдный характер медицинской помощи, агрегируя доказательства на основе повторных визитов и изменяющегося лечения.
- Создан с помощью конвейера, интегрирующего записи о госпитализации MIMIC-IV и клинические заметки в потоки событий временных рядов и датасеты памяти с длинным контекстом.
- Включает 335 пациентов со средним количеством 19.72 стационарных визитов на пациента и 44.91 медицинских событий на визит.
- Содержит таксономию оценки с тремя наборами: фактологические вопросы, временные рассуждения и принятие решений в долгосрочной перспективе.
- Эксперименты показывают, что хотя современные LLM хорошо справляются с явными временными метками, им сложно выводить неявное время.
- Системы RAG и памяти агентов улучшают производительность поиска информации, но качество принятия решений остается сильно зависимым от непосредственного контекста модели.
Этот бенчмарк позволяет более реалистично оценить, как агенты понимают и используют историческую информацию о пациентах в длительной перспективе.