研究人员通过引入一个知识引导的框架来调查大型语言模型 (LLM) 为何在认知行为疗法 (CBT) 方面表现不佳，该框架将用户叙述分解为 Beck 的认知概念化结构，并使用自然语言推理处理 SNOMED CT 概念。该研究使用一种称为 Protocol Leverage Force (F) 的新指标，评估了该方法在三个开源 LLM 和 14 个 RealCBT 衍生案例研究中的表现，以衡量偏离默认响应的行为转变。

  • 该框架采用 Multiple Chain-of-Thought (MCoT) 策略选择，在验证与反思、苏格拉底式提问或替代视角之间进行选择。
  • 单链思维提示未能改变 LLM 的行为，而 MCoT 更有效地引导了策略选择。
  • 尽管有所改善，但效果仍在 1% 以内（约 1.2-1.3%），所有模型仍然偏向于验证与反思。

结果表明，仅凭 CBT 知识并不能确保有效应用，这为情感计算社区提供了衡量 LLM 不足之处的工具。