研究揭示孟加拉语仇恨言论检测中的泛化危机

最近的一项研究诊断了为何在基准上训练的模型无法识别孟加拉语等低资源语言中隐式的、依赖上下文的仇恨言论。研究人员在基准和多源数据集上评估了六种架构，然后在包含显式和隐式仇恨言论的外部社交媒体帖子集上对其进行了验证。

• BanglaBERT 在基准测试上的 F1 分数为 91.4%，但在外部集合上降至 75.3%，在涉及讽刺和表情符号的隐式仇恨言论上降至 63.4%。
• FastText + CNN 的准确率在类似的外部验证条件下从 78.0% 降至 51.2%。
• 考虑表情符号的预处理将隐式仇恨言论的检测率提高了多达 12%，而移除表情符号导致性能显著下降（F1：从 0.75 降至 0.63）。
• 在政治敏感或讽刺评论中的频繁误分类揭示了过度执法的风险。

研究结果强调了需要采用自适应、考虑表情符号且植根于文化的框架，以确保在保护言论自由的同时进行合乎道德的审核。