تشير دراسة حديثة إلى سبب فشل النماذج المدربة على معايير الأداء (benchmarks) في تحديد خطاب الكراهية الضمني والمعتمد على السياق في اللغات قليلة الموارد مثل البنغالية. قام الباحثون بتقييم ست هياكل على مجموعات بيانات المعايير ومجموعات البيانات متعددة المصادر، ثم تحققوا منها على مجموعة خارجية من منشورات وسائل التواصل الاجتماعي التي تحتوي على خطاب كراهية صريح وضمني.
- حقق BanglaBERT درجة F1 بنسبة 91.4% على معايير الأداء، لكنه انخفض إلى 75.3% على المجموعة الخارجية و63.4% لخطاب الكراهية الضمني الذي يتضمن السخرية والرموز التعبيرية.
- انخفض دقة FastText + CNN من 78.0% إلى 51.2% تحت ظروف التحقق الخارجي المماثلة.
- أدى المعالجة المسبقة الحساسة للرموز التعبيرية إلى تحسين كشف خطاب الكراهية الضمني بنسبة تصل إلى 12%， بينما تسبب إزالة الرموز التعبيرية في انخفاض ملحوظ في الأداء (درجة F1: من 0.75 إلى 0.63).
- كشفت التصنيفات الخاطئة المتكررة في التعليقات ذات الطابع السياسي المشحون أو الساخر عن مخاطر المراقبة المفرطة.
تسلط هذه النتائج الضوء على الحاجة إلى أطر عمل تكيفية، وحساسة للرموز التعبيرية، ومبنية على الأسس الثقافية لضمان الرقابة الأخلاقية مع الحفاظ على حرية التعبير.