LLM4SDM 연구는 Observer OPTION12 프레임워크를 사용한 공유 의사결정의 자동 평가를 위해 오픈소스 소형 언어 모델(OS-sLLMs)을 평가합니다. 프라이버시 보호 및 로컬 배포 가능한 모델에 중점을 두고 네덜란드 흑색종 상담 녹취록을 대상으로 일반 도메인 및 의료 도메인 OS-sLLMs을 전문가 주석과 비교했습니다.
- Gemma3:12b는 인간 주석과의 가장 강한 일치를 달성하여 피어슨 r은 0.51, 스피어만 rho는 0.59를 기록했습니다.
- 일반 도메인 모델이 의료 도메인 모델을 능가하며, 후자는 상당한 환각과 지시 따르기 실패를 보입니다.
- 항목 수준 및 정성적 분석은 시간적 담화 추론, 대화 역할 귀속 및 증거 기반화와 관련된 체계적인 과제를 드러냈습니다.
- 연구는 여러 모델 간의 불일치 해결을 지원하도록 설계된 Judge-LLM 합의 프레임워크를 도입했습니다.
현재 OS-sLLMs은 인간 주석자를 대체할 수 없지만, 프라이버시 보호된 human-in-the-loop SDM 평가를 위한 유망한 기반을 제공합니다.