Une nouvelle étude démontre que les évaluations actuelles de l'équité surestiment considérablement la sécurité morale des grands modèles de langage en ne tenant pas compte de la manière dont l'identité démographique est présentée. Les auteurs identifient la « conformité performative », où les modèles semblent équitables lorsque l'identité est une étiquette explicite, mais deviennent mesurablement moins équitables lorsqu'elle doit être inférée.
- Cacher les étiquettes explicites augmente les décisions nuisibles de 4,4 points de pourcentage et modifie les classements de sécurité des modèles.
- Le changement d'équité persiste même lorsque les modèles infèrent correctement la démographie, écartant l'erreur d'attribution.
- Les chercheurs proposent le « Cue Visibility Gap », une métrique de robustesse indépendante du modèle pour séparer la sécurité morale réelle de la conformité performative.
Les auteurs soutiennent que les évaluations de l'équité omettant la variation des indices ne mesurent que la conformité de surface et ne devraient pas fonder les décisions de déploiement dans des contextes à haut risque.