한 연구는 기존 BERT 모델을 파인튜닝하기 위해 비영어 데이터를 영어로 번역하는 것의 실현 가능성을 평가하며, 네이티브 언어 모델 개발을 위한 자원 효율적인 대안을 제시합니다. 이 연구는 불가리아어, 중국어, 네덜란드어, 이탈리아어, 러시아어 데이터셋을 사용하여 6가지 NLP 작업에 걸쳐 네이티브 언어 성능과 이 접근 방식을 비교합니다.
- 번역 기반 파인튜닝은 모든 설정에서 사례의 53.3%에서 동등하거나 우수한 성능을 보였습니다.
- 향상은 질문 답변, 품사 태깅, 자연어 추론에서 가장 빈번하게 발생했습니다.
- 성능 저하는 명명된 엔티티 인식과 혐오 발언 감지에서 흔했습니다.
- 이 접근 방식은 구문 패턴에 의존하는 작업이나 네덜란드어처럼 영어와 유형학적으로 가까운 언어에 가장 효과적입니다.
이 결과는 번역 기반 파인튜닝이 저자원 언어로의 NLP 확장 및 언어적 포용성 진전을 위해 확장 가능한 경로를 제공함을 보여줍니다.