研究者らは、Group Relative Policy Optimization (GRPO) が、合成テキスト読み上げデータのみを使用して、LLMベースの自動音声認識（ASR）モデルを規制対象ドメインに適応させる際、教師ありファインチューニング（SFT）を大幅に上回ることを実証した。このアプローチは、銀行などのセクターでモデルのパフォーマンスを通常妨げるプライバシー制約と音響ミスマッチに対処する。

  • GRPOによる合成データのみの適応により、SFTと比較して単語誤り率（WER）が40%減少し、36.71%から22.09%に低下した。
  • SFTとGRPOを組み合わせることで結果がさらに改善され、WERの総減少率は45%となった。
  • パフォーマンスの向上は表現の変化ではなく行動の改善によるものであり、特に停止の較正と音声からテキストへの整列が改善された。
  • GRPOは、オーディオに注意を固定することで挿入エラーを削減し、初期層の表現はそのまま維持する。

著者らは、適応のための主要なリソースが合成音声である場合、教師ありファインチューニングよりもGRPOのような強化学習方法を優先すべきだと結論づけている。