Une étude a évalué les systèmes de grands modèles de langage (LLM) agents pour la génération de recommandations de traitement du cancer du sein sur 72 cas cliniques réels couvrant les stades I à IV. La recherche a utilisé 1 149 rubriques spécifiques aux cas générées par la Génération de Rubriques d'Information Asymétrique (AIRG) pour évaluer la fiabilité dans la planification oncologique complexe.
- Sept pipelines ont été comparés, y compris des lignes de base à LLM unique, des systèmes augmentés d'outils et des architectures multi-agents avec vérification des faits et génération autonome de sous-agents.
- La configuration la plus performante était Claude Opus 4.8 avec le pipeline D&C+SA, atteignant un score global de 0,594 ± 0,025.
- L'utilisation d'outils et l'augmentation de l'autonomie des agents ont eu des effets mitigés, améliorant les performances dans certains contextes mais les dégradant dans d'autres.
- Une analyse des erreurs dirigée par des oncologues a révélé des échecs cliniquement pertinents persistants, notamment des recommandations incorrectes, des justifications défectueuses, des erreurs de citation, des affirmations obsolètes et une surconfiance.
Les résultats suggèrent que bien que les systèmes LLM agents puissent générer des recommandations de cancer du sein cliniquement pertinentes, ils restent insuffisants pour une utilisation clinique non supervisée.