L'équipe Falcon a publié Falcon-Emirati-7B, un grand modèle de langage spécialisé en dialecte construit sur la base Falcon-H1-Arabic pour comprendre et générer l'arabe émirien avec une nuance de niveau natif. Le modèle comble le fossé entre l'arabe standard moderne et le vocabulaire spécifique, le ton et le contexte culturel du dialecte du Golfe des Émirats.
- Basé sur la variante 7B de Falcon-H1-Arabic utilisant une architecture hybride Mamba-Transformer pour un traitement efficace des contextes longs.
- Entraîné sur un mélange curaté de données web émiriennes authentiques, de contenu en arabe standard moderne (MSA) concernant la culture émirienne et de données synthétiques contraintes par des glossaires spécifiques.
- A obtenu un score de précision de 84,83 % sur le benchmark Alyah, surpassant les modèles multilingues plus grands.
- A démontré une fidélité dialectale supérieure dans la génération ouverte, obtenant un score de 0,52 par rapport aux scores proches de zéro des concurrents comme ALLaM et Fanar.
La publication souligne qu'une adaptation dialectale ciblée est nécessaire pour la compétence culturelle, car les modèles arabes généraux ont souvent tendance à revenir à l'arabe standard moderne même lorsqu'on leur demande de répondre dans le dialecte local.