对六个指令微调的大语言模型的研究表明，最先进的系统会系统性地将非洲裔美国人英语（AAE）重写为标准美国英语。作者提出了一种端到端的框架来审计和缓解这种偏见，引入了条件方言组不变性（cDGI）用于隔离和特征级定位分析。

  • 句法结构，特别是负一致现象，被确定为所有测试模型中偏见的普遍触发因素。
  • 研究人员应用了激活引导，这是一种无需训练的方法，通过因果追踪提取方言方向并注入到与偏见相关的层中。
  • 该方法在保持标准美国英语流畅性的同时，将偏见降低了5到20倍，效果优于提示方法。
  • 该工作包括REAL-AAE，这是最大的真实AAE平行语料库，包含来自自然推特的17,479个三元组。

该研究提供了一种防止大语言模型无声纠正方言的方法，并发布了评估方言偏见的重要新资源。