Les auteurs présentent l'Epistemic Stance Flexibility Probing (ESFP), un benchmark comportemental conçu pour mesurer dans quelle mesure les grands modèles de langage distinguent les prompts attribués externement de ceux attribués à eux-mêmes. L'ESFP évalue cette capacité sur six catégories épistémiques à l'aide de 104 éléments contrôlés, en évaluant l'auto-attribution lexicale, la réactivité au niveau de la représentation, la densité du contenu de la stance et la cohérence inter-conditions.
- Les évaluations de huit modèles de pointe provenant de cinq fournisseurs montrent que la flexibilité épistémique est largement orthogonale à la capacité générale du modèle.
- Un modèle open-weight de 27B a égalé les performances des systèmes propriétaires les plus puissants sur cet indicateur spécifique.
- Le modèle phare d'une famille a sous-performé par rapport à sa contrepartie légère, et les modèles optimisés pour le raisonnement n'ont pas systématiquement fait preuve d'une flexibilité supérieure.
- La densité du contenu de la stance a fourni le signal le plus fort pour mesurer la flexibilité, tandis que les marqueurs lexicaux de surface comme 'I think' peuvent changer sans décalage correspondant dans la stance exprimée.
L'ESFP mesure la propension d'un modèle à adapter sa stance épistémique sous des conditions d'attribution changeantes plutôt que de servir de mesure de compétence générale.