Para peneliti menyelidiki mengapa model bahasa besar (LLM) kesulitan dengan Terapi Perilaku Kognitif (CBT) dengan memperkenalkan kerangka kerja yang dipandu pengetahuan yang menguraikan narasi pengguna ke dalam struktur Konseptualisasi Kognitif Beck dan menggunakan Inferensi Bahasa Alami untuk konsep SNOMED CT. Studi ini mengevaluasi pendekatan ini pada tiga LLM bobot terbuka dan 14 studi kasus turunan RealCBT menggunakan metrik baru bernama Kekuatan Pengungkit Protokol (F) untuk mengukur pergeseran perilaku menjauh dari respons bawaan.
- Kerangka kerja tersebut menerapkan strategi pemilihan Rantai-Pemikiran-Ganda (MCoT) antara Validasi & Refleksi, Pertanyaan Socrates, atau Perspektif Alternatif.
- Pemancingan rantai-pemikiran-tunggal gagal mengubah perilaku LLM, sementara pemilihan strategi yang dipandu MCoT lebih efektif.
- Meskipun terjadi peningkatan, efeknya tetap di bawah 1% (sekitar 1,2-1,3%), dengan semua model tetap bias terhadap Validasi & Refleksi.
Hasil-hasil tersebut menunjukkan bahwa pengetahuan CBT saja tidak menjamin penerapan yang efektif, memberikan komunitas komputasi afektif instrumen untuk mengukur di mana LLM kurang memadai.