Le Technology Innovation Institute a publié Falcon-Emirati-7B, un grand modèle de langage spécialisé en dialecte, construit sur l'architecture Falcon-H1-Arabic pour comprendre et générer de l'arabe émirien avec une précision de niveau natif.
Le modèle exploite une structure hybride combinant un State Space Model et l'attention Transformer pour traiter efficacement les longues séquences tout en maintenant la précision pour les langues à morphologie riche. L'entraînement a impliqué un pipeline dédié combinant des données web émiriennes authentiques, du contenu en arabe standard moderne (MSA) axé sur la culture locale, et des données synthétiques strictement contraintes pour garantir la fidélité grammaticale et culturelle.
Falcon-Emirati-7B obtient un score de 84,83 % sur le benchmark Alyah, surpassant des modèles multilingues plus grands. Lors de tests de génération ouverte, il a démontré une fidélité dialectale supérieure par rapport à des concurrents comme ALLaM et Jais, qui ont souvent fait défaut vers l'arabe standard moderne même lorsqu'on leur demandait en émirien.
La publication souligne que la compétence dialectale nécessite un entraînement ciblé plutôt que de s'appuyer uniquement sur l'échelle du modèle, en adressant le vocabulaire spécifique, le ton et le contexte culturel des Émirats arabes unis.