Новое исследование показывает, что текущие оценки справедливости существенно завышают моральную безопасность больших языковых моделей, не учитывая способ представления демографической идентичности. Авторы выявляют «перформативное соблюдение», при котором модели кажутся справедливыми, когда идентичность является явной меткой, но становятся измеримо менее справедливыми, когда её необходимо вывести.

  • Скрытие явных меток повышает долю вредных решений на 4,4 процентных пункта и изменяет рейтинги безопасности моделей.
  • Сдвиг в справедливости сохраняется даже тогда, когда модели правильно выводят демографическую принадлежность, что исключает ошибку атрибуции.
  • Исследователи предлагают «разрыв видимости подсказок» (Cue Visibility Gap), модельно-независимый метрик устойчивости для разделения подлинной и перформативной моральной безопасности.

Авторы утверждают, что оценки справедливости, игнорирующие вариации подсказок, измеряют лишь поверхностное соблюдение норм, и их нельзя использовать как основу для решений о развертывании в высокорисковых условиях.