يقدم المؤلفون إطار عمل CLExEval، وهو إطار عمل بشري في الحلقة مصمم لتقييم الاستدلال السريري للنماذج اللغوية الكبيرة (LLM) تحت قناع معلومات تدريجي. تجمع الدراسة بين 5600 تعليقًا من أطباء خبراء و200 مسار استدلال سريري مستمد من 40 حالة تشخيصية نادرة لكشف خدع التقييم حيث تخفي الشروحات السلسة التشخيصات الخاطئة.
- تنخفض دقة GPT-4o-mini التشخيصية من 95.0% إلى 32.5% تحت ندرة المعلومات، مما يوضح تحيز الطول اللفظي.
- يصل نموذج متخصص إلى أقصى إمكان تشخيصي يبلغ 92.5% لكنه يفشل في استرداد تلك المعرفة بشكل موثوق في السياقات الطويلة لفظيًا.
- يوجد عدم تطابق بنسبة 68.6% بين الاستدلال والإخراج حيث تظهر التشخيصات الصحيحة في المسارات لكنها لا تنعكس في الإجابات النهائية.
- وافق GPT-4o-mini على 47.9% من المخرجات غير السريرية الصحيحة على مجموعة فشل تم التحقق منها بشريًا، بينما أظهر HuatuoGPT-o1 تحيزًا إيجابيًا نحو التفضيل الذاتي.
تشير النتائج إلى أن التقييمات السريرية الآلية المستقلة يمكن أن تبالغ بشكل كبير في تقدير الموثوقية السريرية دون التحقق المدعوم من الخبراء.