Un estudio reciente diagnostica por qué los modelos entrenados con benchmarks fallan al identificar discurso de odio implícito y dependiente del contexto en idiomas con recursos limitados como el bengalí. Los investigadores evaluaron seis arquitecturas en conjuntos de datos de benchmark y multi-fuente, luego las validaron en un conjunto externo de publicaciones de redes sociales que contenían discurso de odio explícito e implícito.

  • BanglaBERT logró una puntuación F1 de 91.4% en benchmarks pero cayó a 75.3% en el conjunto externo y al 63.4% para discurso de odio implícito que involucra sarcasmo y emojis.
  • La precisión de FastText + CNN bajó de 78.0% a 51.2% bajo condiciones similares de validación externa.
  • El preprocesamiento consciente de emojis mejoró la detección de discurso de odio implícito hasta en un 12%, mientras que la eliminación de emojis causó una caída notable en el rendimiento (F1: de 0.75 a 0.63).
  • Las clasificaciones erróneas frecuentes en comentarios políticamente cargados o satíricos revelaron riesgos de sobre-regulación.

Los hallazgos destacan la necesidad de marcos adaptativos, conscientes de los emojis y fundamentados culturalmente para garantizar una moderación ética mientras se preserva la libertad de expresión.