새로운 연구는 인구 통계학적 정체성이 어떻게 제시되는지를 고려하지 않아 현재 공정성 평가가 대규모 언어 모델의 도덕적 안전성을 실질적으로 과대평가하고 있음을 보여줍니다. 저자들은 정체성이 명시적 라벨일 때는 공정해 보이지만 추론해야 할 때 측정 가능할 정도로 덜 공정해지는 '수행적 준수(performative compliance)'를 식별했습니다.
- 명시적 라벨을 숨기면 유해한 결정이 4.4퍼센트포인트 증가하고 모델 안전성 순위가 변경됩니다.
- 모델이 인구 통계학을 올바르게 추론하더라도 공정성의 변화는 지속되므로 귀속 오류 가능성이 배제됩니다.
- 연구자들은 진정한 도덕적 안전성과 수행적 도덕적 안전성을 분리하기 위한 모델 비종속 강건성 지표인 'Cue Visibility Gap'을 제안했습니다.
저자들은 단서 변동을 생략한 공정성 평가는 표면적인 준수만 측정하며 고위험 환경에서의 배포 결정을 근거로 삼아서는 안 된다고 주장합니다.