La transplantation de tokenizers atténue l'effondrement autoregressif dans l'ASR bengali efficace en périphérie

Les chercheurs répondent à l'échec des modèles de reconnaissance vocale légers comme Moonshine sur les langues morphologiquement riches telles que le bengali en remplaçant leurs tokenizers byte-level centrés sur l'anglais par des vocabulaires BanglaBERT WordPiece natifs. Cette modification redimensionne la matrice d'embedding des tokens et réduit considérablement la fertilité des tokens de 9,16 à 1,30.

• L'approche diminue la longueur de séquence autoregressive de 85,8 %, atténuant entièrement l'instabilité du décodage.
• Évaluée sur le jeu de données Lipi-Ghor de 882 heures, l'architecture modifiée atteint un Word Error Rate (WER) de 21,54 % et un Real-Time Factor (RTF) de 0,0053.

Cette recherche fournit une feuille de route évolutive et reproductible pour l'adaptation cross-script des modèles ASR compacts sans nécessiter de pré-entraînement intensif en ressources.