著者らは、LongMedBenchを発表しました。これは医療エージェントの長期にわたる臨床意思決定を評価するために設計された、現実世界の電子健康記録（EHR）ベンチマークです。従来の評価が短期文脈の知識QAに焦点を当てていたのに対し、このベンチマークは、繰り返される受診と進行する治療にわたって証拠を集約することで、医療ケアの縦断的な性質に対処します。

  • MIMIC-IVの入院記録と臨床ノートを経時系列イベントストリームおよび長期文脈メモリデータセットに統合するパイプラインを通じて構築されました。
  • 335人の患者で構成され、患者あたりの平均在院回数は19.72回、受診あたりの医療事象は44.91件です。
  • 事実ベースのQA、時間的推論、長期の意思決定という3つのスイートを持つ評価分類体系を特徴とします。
  • 実験により、最近のLLMは明示的なタイムスタンプの処理には優れているものの、暗黙的な時間の推論では困難を抱えていることが明らかになりました。
  • RAGやエージェントメモリシステムは情報検索のパフォーマンスを向上させますが、意思決定のパフォーマンスはモデルの即時文脈に強く依存し続けます。

このベンチマークにより、エージェントが長期にわたって患者の歴史的情報をどのように理解し活用するかについて、より現実的な評価が可能になります。