LLM4SDM अध्ययन Observer OPTION12 फ्रेमवर्क का उपयोग करके साझा निर्णय लेने के स्वचालित आकलन के लिए ओपन-सोर्स छोटे भाषा मॉडलों (OS-sLLMs) का आकलन करता है। गोपनीयता संरक्षक स्थानीय रूप से तैनात योग्य मॉडलों और डच मेलानोमा परामर्श ट्रांसक्रिप्ट्स पर ध्यान केंद्रित करते हुए, शोध सामान्य-डोमेन और चिकित्सा-डोमेन OS-sLLMs की तुलना विशेषज्ञ एनोटेशन से करता है।
- Gemma3:12b मानव एनोटेशन के साथ सबसे मजबूत सहमति प्राप्त करता है, जिसमें पियर्सन r 0.51 और स्पीयरमैन rho 0.59 दर्ज होता है।
- सामान्य-डोमेन मॉडल चिकित्सा-डोमेन मॉडलों से बेहतर प्रदर्शन करते हैं, जो महत्वपूर्ण हैलुसिनेशन और निर्देश-अनुसरण विफलताएं प्रदर्शित करते हैं।
- आइटम-स्तर और गुणात्मक विश्लेषण समयबद्ध वार्तालाप तर्क, संवादात्मक भूमिका अट्रिब्यूशन और साक्ष्य आधारभूत से संबंधित व्यवस्थित चुनौतियों को उजागर करते हैं।
- अध्ययन एक Judge-LLM सहमति फ्रेमवर्क पेश करता है जो कई मॉडलों के बीच असहमति समाधान का समर्थन करने के लिए डिज़ाइन किया गया है।
हालाँकि वर्तमान OS-sLLM मानव एनोटेटरों की जगह नहीं ले सकते, वे गोपनीयता संरक्षक मानव-इन-द-लूप SDM आकलन के लिए एक वादाजनक आधार प्रदान करते हैं।