Исследование LLM4SDM оценивает открытые языковые модели меньшего размера (OS-sLLM) для автоматической оценки совместного принятия решений с использованием фреймворка Observer OPTION12. В центре внимания — модели, сохраняющие конфиденциальность и пригодные для локального развертывания, а также транскрипты голландских консультаций по меланоме; в исследовании сравниваются общие и медицинские OS-sLLM с экспертными аннотациями.
- Gemma3:12b демонстрирует наибольшее согласие с человеческими аннотациями, показывая коэффициент Пирсона r = 0.51 и ранговый коэффициент Спирмена rho = 0.59.
- Модели общего домена превосходят медицинские модели, которые демонстрируют значительные галлюцинации и сбои при следовании инструкциям.
- Анализ на уровне элементов и качественный анализ выявляют системные проблемы, связанные с рассуждением о временном дискурсе, атрибуцией ролей в разговоре и обоснованием доказательств.
- В исследовании представлена консенсусная фреймворк Judge-LLM, предназначенная для поддержки разрешения разногласий между несколькими моделями.
Хотя текущие OS-sLLM не могут заменить аннотаторов-людей, они предлагают многообещающую основу для оценки SDM с участием человека в контуре при сохранении конфиденциальности.