Un estudio evaluó sistemas de modelos de lenguaje grandes agénticos para generar recomendaciones de tratamiento del cáncer de mama en 72 casos clínicos reales que abarcan las etapas I a IV. La investigación utilizó 1.147 rúbricas específicas de cada caso generadas mediante Asymmetric Information Rubric Generation (AIRG) para evaluar la fiabilidad en la planificación oncológica compleja.

  • Se compararon siete pipelines, incluyendo líneas base con un solo LLM, sistemas aumentados con herramientas y arquitecturas multiagente con verificación de hechos y generación autónoma de subagentes.
  • La configuración con mejor rendimiento fue Claude Opus 4.8 con el pipeline D&C+SA, logrando una puntuación global de 0,594 ± 0,025.
  • El uso de herramientas y el aumento de la autonomía del agente tuvieron efectos mixtos, mejorando el rendimiento en algunos entornos pero degradándolo en otros.
  • El análisis de errores dirigido por oncólogos reveló fallos persistentes clínicamente relevantes, incluyendo recomendaciones incorrectas, justificaciones defectuosas, errores de citación, afirmaciones desactualizadas y exceso de confianza.

Los hallazgos sugieren que, aunque los sistemas LLM agénticos pueden generar recomendaciones clínicamente relevantes para el cáncer de mama, siguen siendo insuficientes para su uso clínico no supervisado.