Исследователи изучили причины, по которым большие языковые модели (LLM) испытывают трудности с когнитивно-поведенческой терапией (CBT), внедрив структуру, основанную на знаниях, которая разбивает пользовательские нарративы на структуру когнитивной концептуализации Бека и использует естественный языковой вывод для концептов SNOMED CT. Исследование оценивало этот подход на трех LLM с открытым исходным кодом и 14 кейс-стади, полученных из RealCBT, используя новую метрику Protocol Leverage Force (F) для измерения поведенческих сдвигов от ответов по умолчанию.
- Структура использует стратегию выбора Multiple Chain-of-Thought (MCoT) между Validation & Reflection, Сократовским вопросом или Альтернативными перспективами.
- Промптинг с одной цепочкой рассуждений не смог изменить поведение LLM, тогда как MCoT более эффективно направлял выбор стратегии.
- Несмотря на улучшение, эффект остался в пределах 1% (приблизительно 1.2-1.3%), при этом все модели сохранили предвзятость в сторону Validation & Reflection.
Результаты демонстрируют, что одних только знаний CBT недостаточно для эффективного применения, предоставляя сообществу аффективных вычислений инструменты для измерения того, где LLM не справляются.