El equipo de Falcon ha lanzado Falcon-Emirati-7B, un modelo de lenguaje grande especializado en dialectos basado en la base Falcon-H1-Arabic para comprender y generar árabe emiratí con matices de nivel nativo. El modelo aborda la brecha entre el árabe estándar moderno y el vocabulario específico, el tono y el contexto cultural del dialecto del Golfo de los Emiratos Árabes Unidos.
- Basado en la variante de 7B de Falcon-H1-Arabic utilizando una arquitectura híbrida Mamba-Transformer para el procesamiento eficiente de contextos largos.
- Entrenado con una mezcla curada de datos auténticos de web emiratí, contenido de árabe estándar moderno (MSA) sobre la cultura emiratí y datos sintéticos restringidos por glosarios específicos.
- Alcanzó una puntuación de precisión del 84.83% en el benchmark Alyah, superando a modelos multilingües más grandes.
- Demostró una fidelidad dialectal superior en la generación abierta, obteniendo una puntuación de 0.52 en comparación con puntuaciones cercanas a cero para competidores como ALLaM y Fanar.
El lanzamiento destaca que la adaptación dialectal dirigida es necesaria para la competencia cultural, ya que los modelos generales de árabe a menudo recurren al árabe estándar moderno incluso cuando se les pide responder en el dialecto local.