Sebuah studi terbaru mendiagnosis mengapa model yang dilatih pada benchmark gagal mengidentifikasi ujaran kebencian implisit yang bergantung pada konteks dalam bahasa dengan sumber daya terbatas seperti Bengali. Para peneliti mengevaluasi enam arsitektur pada dataset benchmark dan multi-sumber, lalu memvalidasinya pada set eksternal berisi postingan media sosial yang mengandung ujaran kebencian eksplisit dan implisit.

  • BanglaBERT mencapai skor F1 sebesar 91,4% pada benchmark tetapi menurun menjadi 75,3% pada set eksternal dan 63,4% untuk ujaran kebencian implisit yang melibatkan sarkasme dan emoji.
  • Akurasi FastText + CNN turun dari 78,0% menjadi 51,2% di bawah kondisi validasi eksternal yang serupa.
  • Pra-pemrosesan yang sadar emoji meningkatkan deteksi ujaran kebencian implisit hingga 12%, sementara penghapusan emoji menyebabkan penurunan kinerja yang signifikan (F1: 0,75 menjadi 0,63).
  • Klasifikasi salah yang sering terjadi pada komentar yang sarat politik atau satir mengungkap risiko pengawasan berlebihan.

Temuan ini menyoroti perlunya kerangka kerja yang adaptif, sadar emoji, dan berlandaskan budaya untuk memastikan moderasi etis sambil mempertahankan kebebasan berekspresi.