Исследование оценило системы агентных больших языковых моделей для генерации рекомендаций по лечению рака молочной железы на основе 72 реальных клинических случаев, охватывающих стадии от I до IV. В исследовании использовались 1 147 специфичных для каждого случая рубрик, сгенерированных через Asymmetric Information Rubric Generation (AIRG), для оценки надежности в сложном планировании онкологии.
- Были сравнены семь конвейеров, включая базовые линии с одним LLM, системы, усиленные инструментами, и многоагентные архитектуры с проверкой фактов и автономным созданием подагентов.
- Лучшую производительность показала конфигурация Claude Opus 4.8 с конвейером D&C+SA, достигнув глобального балла 0,594 ± 0,025.
- Использование инструментов и повышение автономии агентов оказали смешанное влияние: улучшили производительность в некоторых условиях, но ухудшили ее в других.
- Анализ ошибок под руководством онколога выявил устойчивые клинически значимые сбои, включая неверные рекомендации, ошибочные обоснования, ошибки цитирования, устаревшие утверждения и излишнюю уверенность.
Выводы указывают на то, что, хотя агентные системы LLM могут генерировать клинически релевантные рекомендации по лечению рака молочной железы, они остаются недостаточными для неконтролируемого клинического использования.