Studi LLM4SDM menemukan Gemma3:12b terbaik dalam menilai pengambilan keputusan bersama dalam konsultasi melanoma Belanda

Studi LLM4SDM mengevaluasi model bahasa kecil open-source (OS-sLLMs) untuk penilaian otomatis pengambilan keputusan bersama menggunakan kerangka Observer OPTION12. Berfokus pada model yang melestarikan privasi dan dapat di-deploy secara lokal serta transkrip konsultasi melanoma Belanda, penelitian ini membandingkan OS-sLLMs domain umum dan domain medis terhadap anotasi ahli.

• Gemma3:12b mencapai kesepakatan terkuat dengan anotasi manusia, mencatat r Pearson sebesar 0.51 dan rho Spearman sebesar 0.59.
• Model domain umum mengungguli model domain medis, yang menunjukkan halusinasi substansial dan kegagalan mengikuti instruksi.
• Analisis tingkat item dan kualitatif mengungkapkan tantangan sistematis terkait penalaran wacana temporal, atribusi peran percakapan, dan pembumian bukti.
• Studi ini memperkenalkan kerangka konsensus Judge-LLM yang dirancang untuk mendukung resolusi ketidaksepakatan di antara beberapa model.

Meskipun OS-sLLMs saat ini tidak dapat menggantikan anotator manusia, mereka menawarkan fondasi yang menjanjikan untuk penilaian SDM human-in-the-loop yang melestarikan privasi.