Peneliti mengurangi bias dialek LLM melalui steering aktivasi

Sebuah studi terhadap enam model bahasa besar (LLM) yang disetel instruksi mengungkap bahwa sistem mutakhir secara sistematis menulis ulang Bahasa Inggris Afrika-Amerika (AAE) ke dalam Bahasa Inggris Amerika Standar. Para penulis menyajikan kerangka kerja end-to-end untuk diaudit dan mengurangi bias ini, memperkenalkan Invariansi Grup Dialek Bersyarat (cDGI) untuk isolasi dan analisis lokalisasi pada tingkat fitur.

• Konstruksi sintaksis, khususnya konkordansi negatif, diidentifikasi sebagai pemicu universal untuk bias di semua model yang diuji.
• Para peneliti menerapkan steering aktivasi, metode tanpa pelatihan yang mengekstrak arah dialek melalui pelacakan kausal untuk disuntikkan ke lapisan yang relevan dengan bias.
• Pendekatan ini mengurangi bias 5 hingga 20 kali lebih efektif daripada prompting sambil mempertahankan kelancaran dalam Bahasa Inggris Amerika Standar.
• Karya ini mencakup REAL-AAE, korpus paralel real-AAE terbesar dengan 17.479 triplet dari tweet alami.

Studi ini menyediakan metode untuk mencegah LLM secara diam-diam mengoreksi dialek dan merilis sumber daya baru yang signifikan untuk mengevaluasi bias dialek.