Институт технологических инноваций выпустил Falcon-Emirati-7B, крупную языковую модель, специализированную на диалектах, построенную на архитектуре Falcon-H1-Arabic для понимания и генерации эмиратского арабского языка с точностью уровня носителя.
Модель использует гибридную структуру State Space Model и трансформерного внимания для эффективной обработки длинных последовательностей при сохранении точности для морфологически богатых языков. Обучение включало выделенный конвейер, объединяющий аутентичные веб-данные эмиратского региона, контент на современном стандартном арабском языке (MSA), ориентированный на местную культуру, и строго ограниченные синтетические данные для обеспечения грамматической и культурной достоверности.
Falcon-Emirati-7B достигает результата 84.83% на бенчмарке Alyah, превосходя более крупные многоязычные модели. В тестах на генерацию с открытым ответом она продемонстрировала превосходную диалектную точность по сравнению с конкурентами, такими как ALLaM и Jais, которые часто переходили на современный стандартный арабский язык, даже когда обращение было сделано на эмиратском.
В релизе подчеркивается, что компетенция в диалектах требует целевого обучения, а не только опоры на масштаб модели, решая задачи специфической лексики, тона и культурного контекста ОАЭ.