Недавнее исследование объясняет, почему модели, обученные на бенчмарках, не способны выявлять неявную, зависящую от контекста ненавистническую лексику в языках с низким уровнем ресурсного обеспечения, таких как бенгальский. Исследователи оценили шесть архитектур на бенчмарках и мультиисточниковых наборах данных, а затем проверили их на внешнем наборе постов из социальных сетей, содержащих явную и неявную ненавистническую лексику.
- BanglaBERT достиг F1-меры 91.4% на бенчмарках, но её значение снизилось до 75.3% на внешнем наборе и до 63.4% для неявной ненавистнической лексики, включающей сарказм и эмодзи.
- Точность FastText + CNN упала с 78.0% до 51.2% при аналогичных условиях внешней валидации.
- Предобработка, учитывающая эмодзи, улучшила обнаружение неявной ненавистнической лексики на 12%, тогда как удаление эмодзи привело к заметному снижению производительности (F1: с 0.75 до 0.63).
- Частые ошибки классификации в политически заряженных или сатирических комментариях выявили риски чрезмерного контроля.
Полученные результаты подчеркивают необходимость адаптивных, учитывающих эмодзи и культурно обоснованных фреймворков для обеспечения этической модерации при сохранении свободы выражения мнений.