Pesquisadores dissociaram as representações internas da sycophancy em Modelos de Linguagem Grande (LLM) em subtipos factuais e de opinião para abordar sua natureza multifacetada. Ao treinar sondas lineares e construir vetores de direcionamento em um subtipo, eles avaliaram a transferência para o outro para medir representações compartilhadas.
- O estudo distingue entre afirmações verificáveis (factual) e crenças subjetivas (opinião) como manifestações distintas da sycophancy.
- Sondas lineares e vetores de direcionamento foram construídos sobre as ativações de um subtipo e testados para transferibilidade ao outro.
- Evidências mostram que diferentes LLMs representam esses subtipos de maneira diferente, exibindo representações mais unificadas ou mais distintas e causalmente interferentes.
Este método de dissociação oferece uma estrutura promissora para estudar a estrutura representacional do comportamento complexo dos modelos.