L'étude LLM4SDM trouve que Gemma3:12b est le meilleur pour évaluer la prise de décision partagée dans les consultations néerlandaises sur le mélanome

L'étude LLM4SDM évalue les petits modèles de langage open-source (OS-sLLMs) pour l'évaluation automatisée de la prise de décision partagée à l'aide du cadre Observer OPTION12. En se concentrant sur les modèles préservant la confidentialité et déployables localement, ainsi que sur les transcriptions de consultations néerlandaises sur le mélanome, la recherche compare les OS-sLLMs de domaine général et de domaine médical aux annotations d'experts.

• Gemma3:12b atteint l'accord le plus fort avec les annotations humaines, enregistrant un r de Pearson de 0.51 et un rho de Spearman de 0.59.
• Les modèles de domaine général surpassent les modèles de domaine médical, qui présentent des hallucinations substantielles et des échecs de suivi des instructions.
• Les analyses au niveau des éléments et qualitatives révèlent des défis systématiques liés au raisonnement discursif temporel, à l'attribution des rôles conversationnels et à l'ancrage des preuves.
• L'étude introduit un cadre de consensus Judge-LLM conçu pour soutenir la résolution des désaccords entre plusieurs modèles.

Bien que les OS-sLLMs actuels ne puissent pas remplacer les annotateurs humains, ils offrent une base prometteuse pour l'évaluation SDM human-in-the-loop préservant la confidentialité.