Une étude révèle que MCoT améliore mais échoue à surmonter le biais des LLM dans le raisonnement affectif guidé par la TCC

Les chercheurs ont enquêté sur les raisons pour lesquelles les grands modèles de langage (LLM) peinent avec la thérapie cognitivo-comportementale (TCC) en introduisant un cadre guidé par les connaissances qui décompose les récits des utilisateurs selon la structure de conceptualisation cognitive de Beck et utilise l'inférence en langage naturel pour les concepts SNOMED CT. Cette approche a été évaluée sur trois LLM à poids ouverts et 14 études de cas issues de RealCBT, en utilisant une nouvelle métrique appelée Force d'exploitation du protocole (F) pour mesurer les changements comportementaux par rapport aux réponses par défaut.

• Le cadre utilise une stratégie de sélection de chaîne de pensée multiple (MCoT) entre Validation & Réflexion, Questionnement Socratique ou Perspectives Alternatives.
• L'amorçage à chaîne de pensée unique a échoué à modifier le comportement des LLM, tandis que la sélection de stratégie guidée par MCoT s'est révélée plus efficace.
• Malgré l'amélioration, l'effet est resté inférieur à 1 % (environ 1,2-1,3 %), tous les modèles conservant un biais en faveur de Validation & Réflexion.

Les résultats démontrent que la seule connaissance de la TCC ne garantit pas une application efficace, fournissant à la communauté du calcul affectif des instruments pour mesurer où les LLM sont insuffisants.