Technology Innovation Institute ha lanzado Falcon-Emirati-7B, un modelo de lenguaje grande especializado en dialectos basado en la arquitectura Falcon-H1-Arabic para comprender y generar árabe emiratí con precisión de nivel nativo.
El modelo aprovecha una estructura híbrida de State Space Model y atención Transformer para manejar secuencias largas de manera eficiente mientras mantiene la precisión para lenguas morfológicamente ricas. El entrenamiento involucró un pipeline dedicado que combina datos web auténticos emiratíes, contenido en árabe estándar moderno (MSA) centrado en la cultura local y datos sintéticos estrictamente restringidos para garantizar la fidelidad gramatical y cultural.
Falcon-Emirati-7B obtiene una puntuación del 84.83% en el benchmark Alyah, superando a modelos multilingües más grandes. En pruebas de generación abierta, demostró una fidelidad dialectal superior en comparación con competidores como ALLaM y Jais, que a menudo recurrían al árabe estándar moderno incluso cuando se les preguntaba en emiratí.
El lanzamiento destaca que la competencia dialectal requiere entrenamiento específico en lugar de depender únicamente del tamaño del modelo, abordando el vocabulario específico, el tono y el contexto cultural de los Emiratos Árabes Unidos.