Sebuah studi mengevaluasi sistem model bahasa besar agentic untuk menghasilkan rekomendasi pengobatan kanker payudara di seluruh 72 kasus klinis nyata yang mencakup tahap I hingga IV. Penelitian ini memanfaatkan 1.147 rubrik spesifik kasus yang dihasilkan melalui Asymmetric Information Rubric Generation (AIRG) untuk menilai keandalan dalam perencanaan onkologi kompleks.
- Tujuh pipa dibandingkan, termasuk baseline LLM tunggal, sistem yang diperkaya alat, dan arsitektur multi-agentic dengan pemeriksaan fakta dan pembuahan subagentic otonom.
- Konfigurasi berkinerja terbaik adalah Claude Opus 4.8 dengan pipa D&C+SA, mencapai skor global 0,594 ± 0,025.
- Penggunaan alat dan peningkatan otonomi agentic memiliki efek campuran, meningkatkan kinerja dalam beberapa pengaturan tetapi menurunkannya di pengaturan lain.
- Analisis kesalahan yang dipimpin oleh onkolog mengungkapkan kegagalan klinis yang relevan dan persisten, termasuk rekomendasi yang salah, justifikasi yang cacat, kesalahan kutipan, klaim kedaluwarsa, dan overconfidence.
Temuan tersebut menunjukkan bahwa meskipun sistem LLM agentic dapat menghasilkan rekomendasi kanker payudara yang relevan secara klinis, mereka tetap tidak memadai untuk penggunaan klinis tanpa pengawasan.