Un nuevo estudio demuestra que las evaluaciones actuales de equidad sobreestiman sustancialmente la seguridad moral de los grandes modelos de lenguaje al no tener en cuenta cómo se presenta la identidad demográfica. Los autores identifican el "cumplimiento performativo", donde los modelos parecen justos cuando la identidad es una etiqueta explícita, pero se vuelven mediblemente menos justos cuando debe inferirse.

  • Ocultar las etiquetas explícitas aumenta las decisiones dañinas en 4,4 puntos porcentuales y altera los rankings de seguridad del modelo.
  • El cambio en la equidad persiste incluso cuando los modelos infieren correctamente la demografía, descartando el error de atribución.
  • Los investigadores proponen la "brecha de visibilidad de las pistas" (Cue Visibility Gap), una métrica de robustez independiente del modelo para separar la seguridad moral genuina de la performativa.

Los autores argumentan que las evaluaciones de equidad que omiten la variación de las pistas miden solo el cumplimiento superficial y no deben fundamentar decisiones de despliegue en entornos de alto riesgo.