GRPO 在合成语音上的 ASR 性能比 SFT 提升 40%

研究人员表明，在使用仅合成的 text-to-speech 数据将基于 LLM 的 automatic speech recognition (ASR) 模型适配到受监管领域时，Group Relative Policy Optimization (GRPO) 显著优于 supervised fine-tuning (SFT)。该方法解决了通常阻碍银行等行业模型性能的隐私约束和声学不匹配问题。

• 使用 GRPO 进行仅合成数据的适配使 word error rate (WER) 比 SFT 降低 40%，从 36.71% 降至 22.09%。
• 将 SFT 与 GRPO 结合可进一步改善结果，实现 WER 总共降低 45%。
• 性能提升源于行为改进而非表示变化，具体表现为更好的停止校准和 speech-to-text 对齐。
• GRPO 通过将注意力锚定在音频上并保留早期层的表示不变来减少插入错误。

作者得出结论，当合成语音是适配的主要资源时，应优先选择 reinforcement learning 方法（如 GRPO）而非 supervised fine-tuning。