최근 연구는 벵골어와 같은 저자원 언어에서 벤치마크로 학습된 모델이 문맥에 의존하는 암묵적 혐오표현을 식별하지 못하는 이유를 진단했습니다. 연구자들은 벤치마크 및 다중 소스 데이터셋에서 6가지 아키텍처를 평가한 후, 명시적이고 암묵적인 혐오표현을 포함하는 외부 소셜 미디어 게시물 세트에서 검증했습니다.
- BanglaBERT는 벤치마크에서 F1 점수 91.4%를 달성했지만 외부 세트에서는 75.3%로 하락했으며, 비유와 이모지를 포함한 암묵적 혐오표현의 경우 63.4%였습니다.
- FastText + CNN의 정확도는 유사한 외부 검증 조건에서 78.0%에서 51.2%로 떨어졌습니다.
- 이모지 인식 전처리는 암묵적 혐오표현 감지를 최대 12% 향상시켰지만, 이모지 제거는 상당한 성능 저하(F1: 0.75에서 0.63)를 초래했습니다.
- 정치적 논란이 있거나 풍자적인 댓글에서의 빈번한 오분류는 과도한 검거의 위험을 드러냈습니다.
이 결과는 표현의 자유를 보존하면서 윤리적 모더레이션을 보장하기 위해 적응형, 이모지 인식, 문화적 기반 프레임워크의 필요성을 강조합니다.