Os autores apresentam o LongMedBench, um benchmark do mundo real de prontuários eletrônicos de saúde (EHR) projetado para avaliar a tomada de decisão clínica de longo prazo em agentes médicos. Diferente de avaliações anteriores focadas em QA de conhecimento com contexto curto, este benchmark aborda a natureza longitudinal dos cuidados médicos agregando evidências através de visitas repetidas e tratamentos em evolução.
- Construído via um pipeline que integra registros de admissão do MIMIC-IV e notas clínicas em fluxos de eventos de séries temporais e conjuntos de dados de memória de contexto longo.
- Composto por 335 pacientes com uma média de 19.72 visitas hospitalares por paciente e 44.91 eventos médicos por visita.
- Apresenta uma taxonomia de avaliação com três suites: QA baseado em fatos, raciocínio temporal e tomada de decisão de longo prazo.
- Experimentos revelam que, embora LLMs recentes lidem bem com timestamps explícitos, eles têm dificuldade com inferência de tempo implícita.
- Sistemas RAG e memória de agentes melhoram o desempenho de recuperação de informação, mas o desempenho de tomada de decisão permanece altamente dependente do contexto imediato do modelo.
Este benchmark permite uma avaliação mais realista de como os agentes entendem e aproveitam as informações históricas dos pacientes ao longo de horizontes estendidos.