Sebuah studi baru menunjukkan bahwa evaluasi keadilan saat ini secara substansial melebih-lebihkan keamanan moral model bahasa besar dengan gagal memperhitungkan bagaimana identitas demografis disajikan. Penulis mengidentifikasi "kepatuhan performatif", di mana model tampak adil ketika identitas adalah label eksplisit, tetapi menjadi terukur kurang adil ketika harus disimpulkan.

  • Menyembunyikan label eksplisit meningkatkan keputusan berbahaya sebesar 4,4 poin persentase dan mengubah peringkat keamanan model.
  • Pergeseran keadilan tetap ada bahkan ketika model secara benar menyimpulkan demografi, menyingkirkan kesalahan atribusi.
  • Para peneliti mengusulkan "Cue Visibility Gap", sebuah metrik robustness yang tidak bergantung pada model untuk memisahkan keamanan moral yang tulus dari kepatuhan performatif.

Para penulis berargumen bahwa evaluasi keadilan yang mengabaikan variasi cue hanya mengukur kepatuhan permukaan dan seharusnya tidak menjadi dasar keputusan deployment dalam pengaturan berisiko tinggi.