分词器移植缓解边缘高效孟加拉语语音识别中的自回归崩溃

研究人员通过用原生文字的 BanglaBERT WordPiece 词汇表替换以英语为中心的字节级分词器，解决了 Moonshine 等轻量级语音识别模型在孟加拉语等形态丰富语言上的失效问题。此修改调整了 token 嵌入矩阵的大小，并将 token 生育率从 9.16 显著降低至 1.30。

• 该方法将自回归序列长度减少了 85.8%，完全缓解了解码不稳定性。
• 在 882 小时的 Lipi-Ghor 数据集上评估，修改后的架构实现了 21.54% 的词错误率 (WER) 和 0.0053 的实时因子 (RTF)。

这项研究为紧凑 ASR 模型的跨文字适配提供了一个可扩展、可复现的蓝图，无需进行资源密集型的预训练。