El estudio encuentra que MCoT mejora pero no logra superar el sesgo de los LLM en el razonamiento afectivo guiado por CBT

Los investigadores investigaron por qué los modelos de lenguaje grandes (LLM) tienen dificultades con la Terapia Cognitivo-Conductual (CBT) introduciendo un marco basado en conocimientos que descompone las narrativas del usuario en la estructura de Conceptualización Cognitiva de Beck y utiliza Inferencia de Lenguaje Natural para conceptos de SNOMED CT. El estudio evaluó este enfoque en tres LLM de peso abierto y 14 estudios de caso derivados de RealCBT utilizando una nueva métrica llamada Protocol Leverage Force (F) para medir los cambios conductuales lejos de las respuestas predeterminadas.

• El marco emplea una selección de estrategias de Multiple Chain-of-Thought (MCoT) entre Validación y Reflexión, Preguntas Socráticas o Perspectivas Alternativas.
• La instrucción con una sola cadena de pensamiento no logró cambiar el comportamiento del LLM, mientras que MCoit guió la selección de estrategias de manera más efectiva.
• A pesar de la mejora, el efecto se mantuvo dentro del 1% (aprox. 1.2-1.3%), con todos los modelos permaneciendo sesgados hacia Validación y Reflexión.

Los resultados demuestran que el conocimiento de CBT por sí solo no garantiza una aplicación efectiva, proporcionando a la comunidad de computación afectiva instrumentos para medir dónde fallan los LLM.