LLM4SDM研究评估了开源小型语言模型（OS-sLLM）使用Observer OPTION12框架对共享决策进行自动评估的能力。该研究聚焦于保护隐私且可本地部署的模型以及荷兰黑色素瘤咨询的转录文本，将通用领域和医疗领域的OS-sLLM与专家注释进行了比较。

  • Gemma3:12b与人类注释的一致性最强，皮尔逊r值为0.51，斯皮尔曼rho值为0.59。
  • 通用领域模型优于医疗领域模型，后者表现出大量的幻觉和指令遵循失败。
  • 项目级和定性分析揭示了与时间话语推理、对话角色归因和证据 grounding 相关的系统性挑战。
  • 该研究引入了一个Judge-LLM共识框架，旨在支持多个模型之间的分歧解决。

尽管当前的OS-sLLM无法替代人类注释员，但它们为保护隐私的“人在回路”SDM评估提供了一个有前景的基础。