Команда Falcon выпустила Falcon-Emirati-7B, крупную языковую модель, специализированную на диалектах, созданную на основе Falcon-H1-Arabic для понимания и генерации эмиратского арабского языка с нюансами уровня носителя. Модель устраняет разрыв между современным стандартным арабским языком и специфической лексикой, тоном и культурным контекстом персидского диалекта ОАЭ.
- Построена на основе 7B-варианта Falcon-H1-Arabic с использованием гибридной архитектуры Mamba-Transformer для эффективной обработки длинного контекста.
- Обучена на тщательно отобранном наборе аутентичных веб-данных эмиратского региона, контента на современном стандартном арабском языке о культуре ОАЭ и синтетических данных, ограниченных специфическими глоссариями.
- Достигла точности 84.83% на бенчмарке Alyah, превзойдя более крупные многоязычные модели.
- Проявила превосходную верность диалекту при открытой генерации, набрав 0.52 по сравнению с почти нулевыми результатами конкурентов, таких как ALLaM и Fanar.
В релизе отмечается, что целевая адаптация диалекта необходима для культурной компетентности, поскольку общие арабские модели часто по умолчанию используют современный стандартный арабский язык, даже когда их просят ответить на местном диалекте.