GRPO 在仅合成数据的 ASR 适配中将 WER 降低 40%

研究人员表明，在使用仅合成的 text-to-speech 数据将基于 LLM 的 automatic speech recognition 模型适配到受监管领域时，Group Relative Policy Optimization (GRPO) 显著优于 supervised fine-tuning (SFT)。该方法解决了合成录音与真实录音之间的 acoustic mismatch，同时绕过了收集真实 speech 相关的隐私限制。

• 使用 GRPO 进行仅合成的适配使 Word Error Rate (WER) 相对于 SFT 降低了 40%，从 36.71% 降至 22.09%。
• 将 SFT 与 GRPO 结合进一步提高了性能，实现了 WER 降低 45%。
• 这种改进源于行为变化而非 representation shifts，具体表现为更好的 stopping calibration 以及通过 attention anchoring 实现的 speech-to-text alignment。
• Early-layer representations 保持完整，同时 insertion errors 减少。

作者得出结论，当 synthetic speech 是模型适配的主要资源时，应优先选择 reinforcement learning 方法（如 GRPO），而不是 supervised fine-tuning。