Um estudo recente diagnostica por que modelos treinados em benchmarks falham ao identificar discurso de ódio implícito e dependente do contexto em idiomas com poucos recursos, como o bengali. Os pesquisadores avaliaram seis arquiteturas em conjuntos de dados de benchmark e multi-fonte, depois as validaram em um conjunto externo de postagens de redes sociais contendo discurso de ódio explícito e implícito.
- BanglaBERT alcançou uma pontuação F1 de 91.4% nos benchmarks, mas caiu para 75.3% no conjunto externo e para 63.4% no discurso de ódio implícito envolvendo sarcasmo e emojis.
- A precisão do FastText + CNN caiu de 78.0% para 51.2% sob condições semelhantes de validação externa.
- O pré-processamento consciente de emojis melhorou a detecção de discurso de ódio implícito em até 12%, enquanto a remoção de emojis causou uma queda notável no desempenho (F1: de 0.75 para 0.63).
- Classificações erradas frequentes em comentários politicamente carregados ou satíricos revelaram riscos de policiamento excessivo.
As descobertas destacam a necessidade de estruturas adaptativas, conscientes de emojis e fundamentadas culturalmente para garantir moderação ética enquanto se preserva a liberdade de expressão.