एक अध्ययन ने 72 वास्तविक नैदानिक मामलों पर फैले चरण I से IV तक के लिए स्तन कैंसर उपचार सिफारिशें उत्पन्न करने के लिए एजेंटिक बड़े भाषा मॉडल प्रणालियों का मूल्यांकन किया। शोध ने जटिल ऑन्कोलॉजी योजना में विश्वसनीयता का आकलन करने के लिए Asymmetric Information Rubric Generation (AIRG) के माध्यम से उत्पन्न 1,147 मामला-विशिष्ट रूब्रिक्स का उपयोग किया।
- सात पाइपलाइन की तुलना की गई, जिसमें एकल-LLM बेलाइन्स, टूल-संवर्धित प्रणालियाँ और तथ्य जाँच और स्वतंत्र उप-एजेंट स्पॉनिंग के साथ बहु-एजेंट आर्किटेक्चर शामिल थे।
- सर्वश्रेष्ठ प्रदर्शन करने वाली विन्यास Claude Opus 4.8 था जिसने D&C+SA पाइपलाइन के साथ 0.594 ± 0.025 की वैश्विक स्कोर हासिल की।
- टूल उपयोग और बढ़े हुए एजेंट स्वायत्तता के मिश्रित प्रभाव थे, कुछ सेटिंग्स में प्रदर्शन को बेहतर बनाते हुए लेकिन अन्य में इसे खराब करते हुए।
- ऑन्कोलॉजिस्ट-नेतृत्व वाली त्रुटि विश्लेषण ने निरंतर नैदानिक रूप से प्रासंगिक विफलताओं को उजागर किया, जिसमें गलत सिफारिशें, दोषपूर्ण औचित्य, उद्धरण त्रुटियाँ, पुराने दावे और अति आत्मविश्वास शामिल थे।
निष्कर्ष सुझाव देते हैं कि जबकि एजेंटिक LLM प्रणालियाँ नैदानिक रूप से प्रासंगिक स्तन कैंसर सिफारिशें उत्पन्न कर सकती हैं, वे अनादेक्षित नैदानिक उपयोग के लिए अपर्याप्त रहती हैं।