Um estudo avaliou sistemas de modelos de linguagem grandes agênticos para gerar recomendações de tratamento do câncer de mama em 72 casos clínicos reais abrangendo estágios I a IV. A pesquisa utilizou 1.147 rubricas específicas de cada caso geradas por meio de Asymmetric Information Rubric Generation (AIRG) para avaliar a confiabilidade no planejamento oncológico complexo.
- Sete pipelines foram comparados, incluindo linhas de base com um único LLM, sistemas aumentados com ferramentas e arquiteturas multiagênticas com verificação de fatos e geração autônoma de subagentes.
- A configuração de melhor desempenho foi Claude Opus 4.8 com o pipeline D&C+SA, alcançando uma pontuação global de 0,594 ± 0,025.
- O uso de ferramentas e o aumento da autonomia do agente tiveram efeitos mistos, melhorando o desempenho em alguns cenários, mas degradando-o em outros.
- A análise de erros liderada por oncologistas revelou falhas clinicamente relevantes persistentes, incluindo recomendações incorretas, justificativas defeituosas, erros de citação, afirmações desatualizadas e excesso de confiança.
As descobertas sugerem que, embora os sistemas LLM agênticos possam gerar recomendações clinicamente relevantes para o câncer de mama, eles ainda são insuficientes para uso clínico não supervisionado.