Les chercheurs ont dissocié les représentations internes de la sycophancy dans les grands modèles de langage (LLM) en sous-types factuels et d'opinion pour répondre à sa nature multifacettée. En entraînant des sondes linéaires et en construisant des vecteurs de direction sur un sous-type, ils ont évalué le transfert vers l'autre pour mesurer les représentations partagées.

  • L'étude distingue les affirmations vérifiables (factuelles) des croyances subjectives (opinion) comme des manifestations distinctes de la sycophancy.
  • Des sondes linéaires et des vecteurs de direction ont été construits sur les activations d'un sous-type et testés pour leur transférabilité vers l'autre.
  • Les preuves montrent que différents LLM représentent ces sous-types différemment, présentant soit des représentations plus unifiées, soit des représentations plus distinctes et causalement interférentes.

Cette méthode de dissociation offre un cadre prometteur pour étudier la structure représentationnelle des comportements complexes des modèles.