연구원들은 베트남의 소수민족 언어인 차므어, 크메르어, 타이응우옌어의 데이터 부족 문제를 해결하기 위해 설계된 새로운 코퍼스와 벤치마크인 CKTN을 소개합니다. 이 데이터셋은 44,367개의 문서와 2400만 개의 서브워드 토큰을 포함하며, 지속 사전 훈련, 카테고리 분류 및 요약-문서 검색 작업을 다룹니다.
- 기존 다국어 인코더는 문자 체계의 차이와 베트남어 접촉으로 인해 이러한 언어를 심각하게 단편화합니다.
- 일반적인 적응 지표는 오해를 불러일으킬 수 있으며, 모델이 언어 모델링 손실을 낮추더라도 의미 일반화에는 실패할 수 있습니다.
- 저자들은 어휘 증강과 보정된 대체 토큰 사전 훈련을 결합한 문자 인식 적응 레시피를 제안합니다.
- 이 접근 방식은 훈련 중 판별자가 자명한 문자 불일치를 활용하는 것을 방지합니다.
결과적으로 도출된 인코더는 단편화가 현저히 적고 평가된 모델 중 가장 강력한 분류 성능을 달성하여, 평가 신호로서의 어휘 겹침 검색의 한계를 부각시킵니다.