ある研究は、ステージIからIVにわたる72件の実際の臨床症例全体で乳がん治療推奨を生成するために、エージェント型大規模言語モデルシステムを評価した。この研究は、複雑な腫瘍学計画における信頼性を評価するために、非対称情報ルーブリック生成（AIRG）を通じて生成された1,147件の症例固有のルーブリックを利用した。

  • 単一LLMベースライン、ツール拡張システム、および事実確認と自律的なサブエージェントの生成を含む複数のアーキテクチャなど、7つのパイプラインが比較された。
  • 最もパフォーマンスが高かった構成は、D&C+SAパイプラインを持つClaude Opus 4.8で、グローバルスコア0.594 ± 0.025を達成した。
  • ツール使用とエージェントの自律性の増加は混合した効果をもたらし、一部の環境ではパフォーマンスを向上させたが、他の環境では低下させた。
  • 腫瘍医主導のエラー分析により、誤った推奨、欠陥のある正当化、引用エラー、古い主張、過信など、臨床的に重要な持続的な失敗が明らかになった。

これらの知見は、エージェント型LLMシステムが臨床的に意味のある乳がん推奨を生成できる一方で、非監視の臨床使用には不十分であることを示唆している。