Technology Innovation Institute는 Falcon-H1-Arabic 아키텍처를 기반으로 아랍에미리트 아랍어를 원어민 수준의 정확도로 이해하고 생성하기 위해 설계된 사투리 특화 대규모 언어 모델인 Falcon-Emirati-7B를 출시했습니다.

이 모델은 하이브리드 State Space Model과 Transformer 어텐션 구조를 활용하여 형태소가 풍부한 언어의 정밀도를 유지하면서도 긴 시퀀스를 효율적으로 처리합니다. 학습에는 아랍에미리트 웹 데이터, 지역 문화 중심의 MSA 콘텐츠, 문법적 및 문화적 충실성을 보장하기 위해 엄격히 제한된 합성 데이터를 결합한 전용 파이프라인이 사용되었습니다.

Falcon-Emirati-7B는 Alyah 벤치마크에서 84.83%의 점수를 기록하여 더 큰 다국어 모델들을 압도했습니다. 열린 생성 테스트에서는 아랍에미리트어로 요청했음에도 종종 현대 표준 아랍어로 기본값을 설정하는 ALLaM 및 Jais와 같은 경쟁사 대비 우수한 사투리 충실도를 보였습니다.

출시 발표는 사투리 능력이 모델 규모에만 의존하는 것이 아니라 표적화된 훈련이 필요함을 강조하며, UAE의 특정 어휘, 어조 및 문화적 맥락에 대응합니다.