El estudio LLM4SDM evalúa modelos de lenguaje pequeños de código abierto (OS-sLLM) para la evaluación automatizada de la toma de decisiones compartida utilizando el marco Observer OPTION12. Centrando su atención en modelos preservadores de privacidad desplegables localmente y en transcripciones de consultas holandesas sobre melanoma, la investigación compara OS-sLLM de dominio general y de dominio médico con anotaciones de expertos.
- Gemma3:12b logra el acuerdo más fuerte con las anotaciones humanas, registrando un r de Pearson de 0.51 y un rho de Spearman de 0.59.
- Los modelos de dominio general superan a los de dominio médico, que exhiben alucinaciones sustanciales y fallos en el seguimiento de instrucciones.
- Los análisis a nivel de ítem y cualitativos revelan desafíos sistemáticos relacionados con el razonamiento del discurso temporal, la atribución de roles conversacionales y la fundamentación de evidencias.
- El estudio introduce un marco de consenso Judge-LLM diseñado para apoyar la resolución de desacuerdos entre múltiples modelos.
Aunque los OS-sLLM actuales no pueden reemplazar a los anotadores humanos, ofrecen una base prometedora para la evaluación de SDM con humano en el bucle que preserva la privacidad.