Une étude portant sur six grands modèles de langage (LLM) ajustés sur instruction révèle que les systèmes de pointe réécrivent systématiquement l'anglais afro-américain (AAE) en anglais américain standard. Les auteurs présentent un cadre de bout en bout pour auditer et atténuer ce biais, introduisant l'invariance de groupe dialectal conditionnelle (cDGI) pour l'isolation et l'analyse de localisation au niveau des fonctionnalités.
- Les constructions syntaxiques, en particulier le concordat négatif, sont identifiées comme des déclencheurs universels de biais sur tous les modèles testés.
- Les chercheurs appliquent le pilotage des activations, une méthode sans entraînement qui extrait les directions dialectales via un traçage causal pour les injecter dans les couches pertinentes pour le biais.
- Cette approche réduit le biais 5 à 20 fois plus efficacement que l'incitation (prompting) tout en préservant la fluidité de l'anglais américain standard.
- Le travail inclut REAL-AAE, le plus grand corpus parallèle réel d'AAE avec 17 479 triplets provenant de tweets naturels.
L'étude fournit une méthode pour empêcher les LLM de corriger silencieusement les dialectes et publie une nouvelle ressource significative pour évaluer le biais dialectal.