6개의 지시 미세 조정 대규모 언어 모델에 대한 연구는 최첨단 시스템이 아프리카계 미국인 영어(AAE)를 표준 미국 영어로 체계적으로 재작성한다는 것을 드러냈다. 저자들은 이 편향을 감사하고 완화하기 위한 엔드투엔드 프레임워크를 제시하며, 고립 및 기능 수준 국소화 분석을 위해 조건부 방언 그룹 불변성(cDGI)을 도입했다.

  • 구문 구조, 특히 부정 일치(negative concord)가 테스트된 모든 모델에 걸쳐 편향의 보편적 유발 인자로 식별되었다.
  • 연구자들은 활성화 스티어링을 적용했는데, 이는 인과 추적을 통해 방언 방향성을 추출하여 편향 관련 레이어에 주입하는 훈련 없는 방법이다.
  • 이 접근 방식은 표준 미국 영어의 유창성을 유지하면서 프롬프팅보다 5배에서 20배 더 효과적으로 편향을 감소시킨다.
  • 이 작업에는 자연스러운 트윗에서 얻은 17,479개의 트리플릿을 포함한 가장 큰 실제 AAE 병렬 말뭉치인 REAL-AAE가 포함된다.

이 연구는 LLM이 방언을 묵시적으로 수정하지 않도록 방지하는 방법을 제공하고 방언 편향을 평가하기 위한 상당한 새로운 자원을 공개했다.