研究人员提出了一种实用的、带有可验证奖励的强化学习方法,用于将音频语言模型高效地适应于代码切换自动语音识别(ASR)。该方法使用组相对策略优化,将错误率奖励与脚本保真度奖励相结合,后者会对错误的书写系统施加惩罚。

  • 仅使用 Qwen2-Audio 在10对语言对上针对TTS代码切换语音进行训练。
  • 使用10%数据的RLVR与在全数据集上训练的LoRA监督微调相匹配。
  • 错误率奖励消除了翻译错误,而脚本保真度奖励减少了脚本污染。
  • 收益零样本迁移到人工记录的代码切换语料库。

该方法在类型学上相距较远的语言对上显示出最大的增益,并为适应代码切换语音提供了可复现的测试平台,无需大型标注数据集。