قامت دراسة بتقييم أنظمة النماذج اللغوية الكبيرة الوكيلية لتوليد توصيات علاج سرطان الثدي عبر 72 حالة سريرية حقيقية تغطي المراحل من I إلى IV. استخدم البحث 1,147 معياراً خاصاً بالحالة تم إنشاؤه من خلال توليد معايير المعلومات غير المتماثلة (AIRG) لتقييم الموثوقية في التخطيط المعقد للأورام.
- قُورنت سبع مسارات معالجة، بما في ذلك الأساسيات ذات النموذج اللغوي الكبير الواحد، والأنظمة المدعومة بالأدوات، والهندسة المعمارية متعددة الوكلاء مع التحقق من الحقائق وإنشاء وكلاء فرعيين مستقلين.
- كانت أفضل تكوين أداءً هو Claude Opus 4.8 مع مسار D&C+SA، محققاً درجة عالمية تبلغ 0.594 ± 0.025.
- كان لاستخدام الأدوات وزيادة استقلالية الوكلاء آثار مختلطة، حيث حسّنت الأداء في بعض الإعدادات لكنها أضعفته في أخرى.
- كشف تحليل الأخطاء بقيادة أطباء الأورام عن إخفاقات سريرية ذات صلة ومستمرة، بما في ذلك توصيات غير صحيحة، ومبررات معيبة، وأخطاء في الاستشهادات، وادعاءات قديمة، وثقة مفرطة.
تشير النتائج إلى أنه بينما يمكن لأنظمة النماذج اللغوية الكبيرة الوكيلية توليد توصيات لسرطان الثدي ذات صلة سريريًا، إلا أنها تظل غير كافية للاستخدام السريري غير الخاضع للإشراف.