Los autores presentan LongMedBench, una evaluación del mundo real de historiales médicos electrónicos (EHR) diseñada para evaluar la toma de decisiones clínicas a largo plazo en agentes médicos. A diferencia de las evaluaciones anteriores centradas en preguntas de conocimiento con contexto corto, esta evaluación aborda la naturaleza longitudinal de la atención médica agregando evidencia a través de visitas repetidas y tratamientos en evolución.
- Construido mediante un pipeline que integra registros de admisión MIMIC-IV y notas clínicas en flujos de eventos de series temporales y conjuntos de datos de memoria de contexto largo.
- Comprende 335 pacientes con un promedio de 19.72 visitas hospitalarias por paciente y 44.91 eventos médicos por visita.
- Presenta una taxonomía de evaluación con tres suites: preguntas de conocimiento fáctico, razonamiento temporal y toma de decisiones a largo plazo.
- Los experimentos revelan que, aunque los LLM recientes manejan bien las marcas de tiempo explícitas, tienen dificultades con la inferencia de tiempo implícita.
- Los sistemas RAG y la memoria de agentes mejoran el rendimiento de recuperación de información, pero el rendimiento de toma de decisiones sigue dependiendo altamente del contexto inmediato del modelo.
Esta evaluación permite una valoración más realista de cómo los agentes comprenden y aprovechan la información histórica del paciente a lo largo de horizontes extendidos.