تقوم دراسة LLM4SDM بتقييم نماذج اللغة الصغيرة مفتوحة المصدر (OS-sLLMs) للتقييم الآلي لصنع القرار المشترك باستخدام إطار Observer OPTION12. مع التركيز على النماذج التي تحافظ على الخصوصية والقابلة للنشر محليًا، ونصوص استشارات الميلانوما الهولندية، تقارن البحث نماذج OS-sLLMs للمجال العام والمجال الطبي بالتعليقات التوضيحية للخبراء.
- يحقق Gemma3:12b أقوى توافق مع التعليقات التوضيحية البشرية، مسجلاً معامل ارتباط بيرسون r بقيمة 0.51 ومعامل ارتباط سبيرمان rho بقيمة 0.59.
- تتفوق النماذج ذات المجال العام على النماذج ذات المجال الطبي، والتي تظهر هلاوس كبيرة وفشلاً في اتباع التعليمات.
- تكشف التحليلات على مستوى العناصر والتحليلات النوعية عن تحديات منهجية تتعلق بالاستدلال الخطابي الزمني، ونسبة الأدوار الحوارية، وتأسيس الأدلة.
- تقدم الدراسة إطار إجماع Judge-LLM المصمم لدعم حل الخلافات بين نماذج متعددة.
بينما لا يمكن للنماذج OS-sLLMs الحالية أن تحل محل المعلقين البشريين، فإنها توفر أساسًا واعدًا لتقييم SDM human-in-the-loop الذي يحافظ على الخصوصية.