LLM4SDM研究は、Observer OPTION12フレームワークを用いた共有意思決定の自動評価において、オープンソースの小規模言語モデル（OS-sLLMs）を評価する。プライバシー保護とローカルデプロイ可能なモデルに焦点を当て、オランダの黒色腫相談のトランスクリプトを対象に、一般ドメインおよび医療ドメインのOS-sLLMsを専門家の注釈と比較した。

  • Gemma3:12bは人間の注釈との最も強い一致を達成し、ピアソンrが0.51、スピアマンrhoが0.59を記録した。
  • 一般ドメインモデルは医療ドメインモデルを上回り、後者は大きな幻覚と指示フォローイングの失敗を示している。
  • アイテムレベルおよび定性的分析は、時間的談話推論、会話的役割帰属、および証拠の根拠に関連する体系的な課題を明らかにした。
  • 本研究は、複数のモデル間の意見不一致の解決をサポートするために設計されたJudge-LLMコンセンサスフレームワークを導入した。

現在のOS-sLLMsは人間の注釈者を置き換えることはできないが、プライバシー保護されたヒューマンインザループSDM評価のための有望な基盤を提供する。