研究者は、大規模言語モデル（LLM）が認知行動療法（CBT）で苦戦する理由を調査するために、ユーザーの物語をベックの認知概念化構造に分解し、SNOMED CT概念に対して自然言語推論を使用する知識誘導型フレームワークを導入した。このアプローチは、3つのオープンウェイトLLMと14のRealCBT由来の症例研究において評価され、デフォルト応答からの行動的シフトを測定するための新しい指標であるプロトコルレバレッジフォース（F）が使用された。

  • このフレームワークは、検証と反省、ソクラテス式質問法、または代替視点の間で選択するマルチプルチェーン・オブ・スート（MCoT）戦略を採用している。
  • シングルチェーン・オブ・スートプロンプティングはLLMの行動を変化させることに失敗したが、MCoTによる戦略選択はより効果的だった。
  • 改善が見られたものの、その効果は1%未満（約1.2-1.3%）にとどまり、すべてのモデルが検証と反省へのバイアスを維持した。

この結果は、CBTの知識だけでは有効な適用を保証しないことを示しており、感情計算コミュニティにLLMがどこで不足しているかを測定する計測手段を提供している。