연구자들은 대규모 언어 모델(LLM)이 인지행동치료(CBT)에서 어려움을 겪는 이유를 조사하기 위해, Beck의 인지개념화 구조로 사용자 내러티브를 분해하고 SNOMED CT 개념에 대해 자연어 추론을 사용하는 지식 기반 프레임워크를 도입했다. 이 접근 방식은 3개의 오픈 가중치 LLM과 14개의 RealCBT 유래 사례 연구를 통해 평가되었으며, 기본 응답에서 행동적 전환을 측정하기 위해 프로토콜 레버리지 포스(F)라는 새로운 지표를 사용했다.
- 이 프레임워크는 검증 및 반성, 소크라테식 질문법 또는 대체 관점 간에 선택하는 다중 사고사슬(MCoT) 전략을 활용한다.
- 단일 사고사슬 프롬프팅은 LLM 행동을 변화시키는 데 실패했지만, MCoT 기반 전략 선택이 더 효과적이었다.
- 개선에도 불구하고 그 효과는 1% 미만(약 1.2-1.3%)에 머물렀으며, 모든 모델은 검증 및 반성으로의 편향을 유지했다.
이 결과는 CBT 지식만으로는 효과적인 적용을 보장하지 않음을 보여주며, 감정 계산 커뮤니티에 LLM이 어디에서 부족하는지를 측정할 수 있는 도구를 제공한다.