新しい研究は、現在の公平性評価が人口統計学的アイデンティティの提示方法を考慮していないため、大規模言語モデルの道徳的安全性を実質的に過大評価していることを示している。著者らは、「パフォーマティブ・コンプライアンス」を特定した。これは、アイデンティティが明示的なラベルである場合は公平に見えるが、推論しなければならない場合に測定可能なほど不公平になる現象である。
- 明示的なラベルを隠すと有害な決定が4.4パーセントポイント増加し、モデルの安全性ランキングが変化する。
- モデルが人口統計学的属性を正しく推論した場合でも、公平性の変化は持続するため、帰属エラーの可能性は排除される。
- 研究者らは、「Cue Visibility Gap」を提案した。これは本物の道徳的安全性とパフォーマティブな道徳的安全性を分離するためのモデル非依存の堅牢性指標である。
著者らは、手がかりの変動を省略した公平性評価は表面だけの準拠しか測定せず、高リスクな設定におけるデプロイメント決定の根拠にしてはならないと主張している。