Falcon 팀은 Falcon-H1-Arabic 기반을 바탕으로 UAE의 Gulf 사투리의 어휘, 어조, 문화적 맥락과 고전 아랍어 간의 격차를 해소하고 원어민 수준의 미묘한 뉘앙스로 아랍어 사투리를 이해하고 생성할 수 있도록 설계된 사투리 특화 대형 언어 모델인 Falcon-Emirati-7B를 출시했습니다.

  • 효율적인 긴 문맥 처리를 위해 하이브리드 Mamba-Transformer 아키텍처를 사용하여 Falcon-H1-Arabic의 7B 변형 모델을 기반으로 구축되었습니다.
  • 정제된 Authentic Emirati 웹 데이터, 아랍어 문화 관련 고전 아랍어 콘텐츠, 특정 어휘집으로 제한된 합성 데이터의 혼합물로 학습되었습니다.
  • Alyah 벤치마크에서 84.83%의 정확도 점수를 기록하여 더 큰 다국어 모델들을 능가했습니다.
  • 열린-ended 생성에서 사투리 충실도를 입증했으며, ALLaM 및 Fanar와 같은 경쟁사들이 거의 제로에 가까운 점수를 얻는 동안 0.52점을 받았습니다.

이 릴리스는 일반 아랍어 모델이 현지 사투리로 응답해 달라는 요청에도 불구하고 종종 고전 아랍어를 기본값으로 사용하는 경우가 많기 때문에 문화적 역량 확보를 위해 표적화된 사투리 적응이 필요하다고 강조합니다.