Исследователи решают проблему неэффективности легких моделей распознавания речи, таких как Moonshine, на морфологически богатых языках, таких как бенгальский, путем замены их англоцентричных байтовых токенизаторов на словари WordPiece из BanglaBERT для родного скрипта. Эта модификация изменяет размер матрицы встраивания токенов и значительно снижает фертильность токенов с 9.16 до 1.30.
- Подход сокращает длину авторегрессионной последовательности на 85,8%, полностью устраняя нестабильность декодирования.
- Оценка на наборе данных Lipi-Ghor объемом 882 часа показала, что модифицированная архитектура достигает Word Error Rate (WER) 21.54% и Real-Time Factor (RTF) 0.0053.
Это исследование предоставляет масштабируемый и воспроизводимый шаблон для адаптации компактных моделей ASR к другим скриптам без необходимости ресурсоемкого предварительного обучения.