O estudo LLM4SDM avalia modelos de linguagem menores de código aberto (OS-sLLMs) para avaliação automatizada da tomada de decisão compartilhada usando a estrutura Observer OPTION12. Focando em modelos preservadores de privacidade e implantáveis localmente, bem como em transcrições de consultas holandesas sobre melanoma, a pesquisa compara OS-sLLMs de domínio geral e de domínio médico contra anotações de especialistas.

  • Gemma3:12b alcança o acordo mais forte com as anotações humanas, registrando um r de Pearson de 0.51 e um rho de Spearman de 0.59.
  • Modelos de domínio geral superam modelos de domínio médico, que exibem alucinações substanciais e falhas no seguimento de instruções.
  • Análises em nível de item e qualitativas revelam desafios sistemáticos relacionados ao raciocínio do discurso temporal, atribuição de papéis conversacionais e fundamentação de evidências.
  • O estudo introduz uma estrutura de consenso Judge-LLM projetada para apoiar a resolução de desacordos entre múltiplos modelos.

Embora os OS-sLLMs atuais não possam substituir anotadores humanos, eles oferecem uma base promissora para avaliação de SDM com humano no loop que preserva a privacidade.