एक हालिया अध्ययन का निदान करता है कि बेंचमार्क पर प्रशिक्षित मॉडल बांग्ला जैसी कम-संसाधित भाषाओं में अंतर्निहित, संदर्भ-आधारित घृणापूर्ण भाषण की पहचान करने में क्यों विफल रहते हैं। शोधकर्ताओं ने बेंचमार्क और बहु-स्रोत डेटासेट पर छह आर्किटेक्चर का मूल्यांकन किया, फिर उन्हें स्पष्ट और अंतर्निहित घृणापूर्ण भाषण वाले बाहरी सोशल मीडिया पोस्ट के सेट पर मान्य किया।
- बेंचमार्क पर BanglaBERT ने 91.4% का F1-स्कोर हासिल किया, लेकिन बाहरी सेट पर यह घटकर 75.3% और विडंबना और इमोजी वाले अंतर्निहित घृणापूर्ण भाषण के लिए 63.4% हो गया।
- समान बाहरी मान्यता स्थितियों के तहत FastText + CNN की सटीकता 78.0% से घटकर 51.2% हो गई।
- इमोजी-जागरूक पूर्व-प्रसंस्करण ने अंतर्निहित घृणापूर्ण भाषण का पता लगाने में 12% तक सुधार किया, जबकि इमोजी हटाने से प्रदर्शन में उल्लेखनीय गिरावट आई (F1: 0.75 से 0.63)।
- राजनीतिक रूप से आवेशित या व्यंग्यात्मक टिप्पणियों में बार-बार गलत वर्गीकरण ने अत्यधिक निगरानी के जोखिमों को उजागर किया।
इन निष्कर्षों से अनुकूलनशील, इमोजी-जागरूक और सांस्कृतिक रूप से आधारित ढांचे की आवश्यकता पर प्रकाश डाला गया है ताकि अभिव्यक्ति की स्वतंत्रता को बनाए रखते हुए नैतिक मॉडरेशन सुनिश्चित किया जा सके।