La trasplante de tokenizadores mitiga el colapso autoregresivo en ASR bengalí eficiente para dispositivos periféricos

Los investigadores abordan el fallo de los modelos ligeros de reconocimiento de voz como Moonshine en lenguas morfológicamente ricas como el bengalí, reemplazando sus tokenizadores a nivel de bytes centrados en inglés con vocabularios WordPiece de BanglaBERT para la escritura nativa. Esta modificación redimensiona la matriz de incrustación de tokens y reduce significativamente la fertilidad del token de 9.16 a 1.30.

• El enfoque disminuye la longitud de la secuencia autoregresiva en un 85,8%, mitigando por completo la inestabilidad de la decodificación.
• Evaluado en el conjunto de datos Lipi-Ghor de 882 horas, la arquitectura modificada logra una Tasa de Error de Palabra (WER) del 21.54% y un Factor de Tiempo Real (RTF) de 0.0053.

Esta investigación proporciona una plantilla escalable y reproducible para la adaptación entre escrituras de modelos ASR compactos sin requerir preentrenamiento intensivo en recursos.