Los investigadores han disociado las representaciones internas de la sycophancy en Modelos de Lenguaje Grande (LLM) en subtipos factuales y de opinión para abordar su naturaleza multifacética. Al entrenar sondas lineales y construir vectores de dirección sobre un subtipo, evaluaron la transferencia al otro para medir las representaciones compartidas.
- El estudio distingue entre afirmaciones verificables (factual) y creencias subjetivas (opinión) como manifestaciones distintas de la sycophancy.
- Se construyeron sondas lineales y vectores de dirección sobre las activaciones de un subtipo y se probaron para su transferibilidad al otro.
- La evidencia muestra que diferentes LLM representan estos subtipos de manera diferente, exhibiendo representaciones más unificadas o más distintas e interferentes causalmente.
Este método de disociación ofrece un marco prometedor para estudiar la estructura representacional del comportamiento complejo de los modelos.