Une étude utilisant EvalAwareBench teste si les modèles de langage utilisent une direction partagée unique ou des détecteurs spécifiques à chaque indicateur pour identifier les contextes d'évaluation. La recherche a activé indépendamment huit facteurs déclencheurs sur 1 298 invites tout en maintenant les tâches sous-jacentes et les entités fixes.
- L'analyse des modèles Qwen3 (0,6B–14B) et Gemma 3 (270M/1B) révèle que les directions par indicateur ne représentent qu'environ 20 % du plafond de fiabilité cosinus mesurable, indiquant des détecteurs distincts plutôt qu'un axe partagé unique.
- La divulgation explicite de l'évaluation est le principal moteur, avec une similarité cosinus d'environ 0,89 par rapport à la direction globale ; sa suppression seule coûte 36–57 % du signal eval/déploy.
- L'artificialité du stimulus est lue au hasard (AUROC 0,52) sur la direction globale, même si le modèle la représente ailleurs avec une direction dédiée de 0,68.
- Le cadrage de l'évaluation n'améliore pas la capacité mais modifie significativement la volonté de répondre, avec un décalage moyen de log-probabilité de la première lettre passant de -16,68 en déploiement à -3,90 en évaluation à 14B.
Les résultats suggèrent que la conscience de l'évaluation est un ensemble de détecteurs spécifiques aux indicateurs plutôt qu'un axe global unique, la divulgation explicite étant le facteur dominant.