Transplante de tokenizadores mitiga colapso autoregressivo em ASR bengali eficiente para borda

Pesquisadores abordam a falha de modelos leves de reconhecimento de fala como Moonshine em línguas morfologicamente ricas como o bengali, substituindo seus tokenizadores byte-level centrados no inglês por vocabulários WordPiece do BanglaBERT para o script nativo. Esta modificação redimensiona a matriz de embedding de tokens e reduz significativamente a fertilidade do token de 9.16 para 1.30.

• A abordagem diminui o comprimento da sequência autoregressiva em 85,8%, mitigando completamente a instabilidade da decodificação.
• Avaliado no conjunto de dados Lipi-Ghor de 882 horas, a arquitetura modificada alcança uma Taxa de Erro de Palavra (WER) de 21.54% e um Fator de Tempo Real (RTF) de 0.0053.

Esta pesquisa fornece um modelo escalável e reproduzível para a adaptação cross-script de modelos ASR compactos sem exigir pré-treinamento intensivo em recursos.