Um novo estudo demonstra que as avaliações atuais de equidade superestimam substancialmente a segurança moral dos grandes modelos de linguagem ao não considerar como a identidade demográfica é apresentada. Os autores identificam a "conformidade performativa", onde os modelos parecem justos quando a identidade é uma etiqueta explícita, mas se tornam mensuravelmente menos justos quando deve ser inferida.
- Esconder etiquetas explícitas aumenta as decisões prejudiciais em 4,4 pontos percentuais e altera os rankings de segurança do modelo.
- A mudança na equidade persiste mesmo quando os modelos inferem corretamente a demografia, descartando o erro de atribuição.
- Os pesquisadores propõem a "lacuna de visibilidade das pistas" (Cue Visibility Gap), uma métrica de robustez independente do modelo para separar a segurança moral genuína da performativa.
Os autores argumentam que as avaliações de equidade que omitem a variação das pistas medem apenas a conformidade superficial e não devem fundamentar decisões de implantação em cenários de alto risco.