Les auteurs présentent LongMedBench, un benchmark de dossiers de santé électroniques (DSE) du monde réel conçu pour évaluer la prise de décision clinique à long terme chez les agents médicaux. Contrairement aux évaluations antérieures qui se concentraient sur le QA de connaissances à court contexte, ce benchmark aborde la nature longitudinale des soins médicaux en agrégeant des preuves à travers des visites répétées et des traitements évolutifs.
- Construit via un pipeline intégrant les dossiers d'admission MIMIC-IV et les notes cliniques dans des flux d'événements série temporelle et des jeux de données de mémoire à long contexte.
- Comprend 335 patients avec une moyenne de 19,72 visites hospitalières par patient et 44,91 événements médicaux par visite.
- Dispose d'une taxonomie d'évaluation avec trois suites : QA factuel, raisonnement temporel et prise de décision à long terme.
- Les expériences révèlent que si les LLM récents gèrent bien les horodatages explicites, ils peinent avec l'inférence temporelle implicite.
- Les systèmes RAG et la mémoire d'agent améliorent les performances de récupération d'informations, mais les performances de prise de décision restent fortement dépendantes du contexte immédiat du modèle.
Ce benchmark permet une évaluation plus réaliste de la manière dont les agents comprennent et exploitent les informations historiques des patients sur de longs horizons.